# guillaume-be/rust-tokenizers

<https://repo.masters-masters.com/repos/guillaume-be/rust-tokenizers>

[Accueil](https://repo.masters-masters.com/) › [guillaume-be](https://repo.masters-masters.com/owners/guillaume-be) › [rust-tokenizers](https://repo.masters-masters.com/repos/guillaume-be/rust-tokenizers)

guillaume-be/rust-tokenizers, dépôt open source à 345 étoiles sur GitHub. Carte Alpha de RepoMasters. Rust-tokenizer offers high-performance tokenizers for…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [guillaume-be](https://repo.masters-masters.com/owners/guillaume-be) |
| Étoiles | 345 |
| Forks | 33 |
| Langage | [Rust](https://repo.masters-masters.com/languages/rust) |
| Licence | Apache-2.0 |
| Création | 2019 |
| Sujets | tokenizer, rust-lang, transformer, deep-learning |
| Rang | [Alpha (250 à 699 ★)](https://repo.masters-masters.com/ranks/b_movie) |
| Voir sur GitHub | [guillaume-be/rust-tokenizers](https://github.com/guillaume-be/rust-tokenizers) |

## Fiche du dépôt

Rust-tokenizer offers high-performance tokenizers for modern language models, including WordPiece, Byte-Pair Encoding (BPE) and Unigram (SentencePiece) models

Rang des dépôts qui ont 250 à 699 ★ sur GitHub. Probabilité publiée par carte tirée : 20 %. Rareté : Peu commune.

## Autres dépôts de guillaume-be

- [guillaume-be/rust-bert · ★ 3 091 · Rust · RC](https://repo.masters-masters.com/repos/guillaume-be/rust-bert)

## D’autres dépôts Rust

- [nsaintot/cdj3k-emu · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/nsaintot/cdj3k-emu)
- [Dicklesworthstone/franken\_ocr · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/Dicklesworthstone/franken_ocr)
- [SheepSeb/tinyworldformer · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/SheepSeb/tinyworldformer)
- [zonyitoo/rust-ini · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/zonyitoo/rust-ini)
- [reem/rust-ordered-float · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/reem/rust-ordered-float)
- [mattgathu/cute · ★ 345 · Rust · Alpha](https://repo.masters-masters.com/repos/mattgathu/cute)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.