Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

guillaume-be/rust-tokenizers

Rust-tokenizer offers high-performance tokenizers for modern language models, including WordPiece, Byte-Pair Encoding (BPE) and Unigram (SentencePiece) models

Propriétaire
guillaume-be (compte personnel)
Étoiles
Étoiles : 345
Forks
Forks : 33
Langage
Rust
Licence
Apache-2.0
Création
2019
Sujets
tokenizerrust-langtransformerdeep-learning
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

Autres dépôts de guillaume-be

Les 2 dépôts de guillaume-be

D’autres dépôts Rust

Tous les dépôts Rust