Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
RCÉpique

marcelroed/gigatoken

Language model tokenization at GB/s

Propriétaire
marcelroed (compte personnel)
Étoiles
Étoiles : 4 149
Forks
Forks : 223
Langage
Rust
Licence
MIT
Création
2025
Sujets
llmnlptokenizationtokenizer
Rang
RC (2 000 à 4 999 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Rust

Tous les dépôts Rust