# JFanZhao/spider

<https://repo.masters-masters.com/repos/JFanZhao/spider>

[Accueil](https://repo.masters-masters.com/) › [JFanZhao](https://repo.masters-masters.com/owners/JFanZhao) › [spider](https://repo.masters-masters.com/repos/JFanZhao/spider)

JFanZhao/spider, dépôt open source à 233 étoiles sur GitHub. Carte Prototype de RepoMasters. 使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用sol…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [JFanZhao](https://repo.masters-masters.com/owners/JFanZhao) |
| Étoiles | 233 |
| Forks | 149 |
| Langage | [Java](https://repo.masters-masters.com/languages/java) |
| Licence | Aucune |
| Création | 2016 |
| Rang | [Prototype (100 à 249 ★)](https://repo.masters-masters.com/ranks/rush) |
| Voir sur GitHub | [JFanZhao/spider](https://github.com/JFanZhao/spider) |

## Fiche du dépôt

使用java+httpclient+httpcleaner，多线程、分布式爬去电商网站商品信息，数据存储在hbase上，并使用solr对商品建立索引，使用redis队列存储一个共享的url仓库；使用zookeeper对爬虫节点生命周期进行监视等。

Rang des dépôts qui ont 100 à 249 ★ sur GitHub. Probabilité publiée par carte tirée : 70 %. Rareté : Commune.

## D’autres dépôts Java

- [fuzhengwei/book-small-spring · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/fuzhengwei/book-small-spring)
- [FPSMasterTeam/FPSMaster-Edge · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/FPSMasterTeam/FPSMaster-Edge)
- [bkhtmltopdf/bkhtmltopdf · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/bkhtmltopdf/bkhtmltopdf)
- [paul-hammant/paranamer · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/paul-hammant/paranamer)
- [OpenGamma/OG-Platform · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/OpenGamma/OG-Platform)
- [apache/commons-validator · ★ 233 · Java · Prototype](https://repo.masters-masters.com/repos/apache/commons-validator)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.