Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
PrototypeCommune

shjwudp/c4-dataset-script

Inspired by google c4, here is a series of colossal clean data cleaning scripts focused on CommonCrawl data processing. Including Chinese data processing and cleaning methods in MassiveText.

Propriétaire
shjwudp (compte personnel)
Étoiles
Étoiles : 137
Forks
Forks : 18
Langage
Python
Licence
MIT
Création
2022
Sujets
commoncrawldatasetnlpmassivetextpythonspark
Rang
Prototype (100 à 249 ★) Ce que veut dire ce rang
Voir sur GitHub

Autres dépôts de shjwudp

Les 2 dépôts de shjwudp

D’autres dépôts Python

Tous les dépôts Python