# gnemoug/distribute\_crawler

<https://repo.masters-masters.com/repos/gnemoug/distribute_crawler>

[Accueil](https://repo.masters-masters.com/) › [gnemoug](https://repo.masters-masters.com/owners/gnemoug) › [distribute\_crawler](https://repo.masters-masters.com/repos/gnemoug/distribute_crawler)

gnemoug/distribute\_crawler, dépôt open source à 3 235 étoiles sur GitHub. Carte RC de RepoMasters. 使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [gnemoug](https://repo.masters-masters.com/owners/gnemoug) |
| Étoiles | 3 235 |
| Forks | 1 552 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Aucune |
| Création | 2013 |
| Rang | [RC (2 000 à 4 999 ★)](https://repo.masters-masters.com/ranks/blockbuster) |
| Voir sur GitHub | [gnemoug/distribute\_crawler](https://github.com/gnemoug/distribute_crawler) |

## Fiche du dépôt

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

Rang des dépôts qui ont 2 000 à 4 999 ★ sur GitHub. Probabilité publiée par carte tirée : 3 %. Rareté : Épique.

## Autres dépôts de gnemoug

- [gnemoug/sina\_reptile · ★ 474 · Python · Alpha](https://repo.masters-masters.com/repos/gnemoug/sina_reptile)
- [gnemoug/ComPerformance · ★ 387 · JavaScript · Alpha](https://repo.masters-masters.com/repos/gnemoug/ComPerformance)

## D’autres dépôts Python

- [thearn/webcam-pulse-detector · ★ 3 235 · Python · RC](https://repo.masters-masters.com/repos/thearn/webcam-pulse-detector)
- [google/model\_search · ★ 3 235 · Python · RC](https://repo.masters-masters.com/repos/google/model_search)
- [rmurai0610/MASt3R-SLAM · ★ 3 235 · Python · RC](https://repo.masters-masters.com/repos/rmurai0610/MASt3R-SLAM)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.