Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

alasdairforsythe/tokenmonster

Ungreedy subword tokenizer and vocabulary trainer for Python, Go, C++ & Javascript

Propriétaire
alasdairforsythe (compte personnel)
Étoiles
Étoiles : 625
Forks
Forks : 23
Langage
Go
Licence
MIT
Création
2023
Sujets
tokenisationtokenizationtokenizetokenizertokenizingvocabularyvocabulary-buildertext-tokenizationvocabulary-generator
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Go

Tous les dépôts Go