# marcelroed/gigatoken

<https://repo.masters-masters.com/repos/marcelroed/gigatoken>

[Accueil](https://repo.masters-masters.com/) › [marcelroed](https://repo.masters-masters.com/owners/marcelroed) › [gigatoken](https://repo.masters-masters.com/repos/marcelroed/gigatoken)

marcelroed/gigatoken, dépôt open source à 4 150 étoiles sur GitHub. Carte RC de RepoMasters. Language model tokenization at GB/s Langage : Rust.

| Champ | Valeur |
| --- | --- |
| Propriétaire | [marcelroed](https://repo.masters-masters.com/owners/marcelroed) |
| Étoiles | 4 150 |
| Forks | 224 |
| Langage | [Rust](https://repo.masters-masters.com/languages/rust) |
| Licence | MIT |
| Création | 2025 |
| Sujets | llm, nlp, tokenization, tokenizer |
| Rang | [RC (2 000 à 4 999 ★)](https://repo.masters-masters.com/ranks/blockbuster) |
| Voir sur GitHub | [marcelroed/gigatoken](https://github.com/marcelroed/gigatoken) |

## Fiche du dépôt

Language model tokenization at GB/s

Rang des dépôts qui ont 2 000 à 4 999 ★ sur GitHub. Probabilité publiée par carte tirée : 3 %. Rareté : Épique.

## D’autres dépôts Rust

- [linebender/resvg · ★ 4 173 · Rust · RC](https://repo.masters-masters.com/repos/linebender/resvg)
- [zhongbai2333/Tomato-Novel-Downloader · ★ 4 163 · Rust · RC](https://repo.masters-masters.com/repos/zhongbai2333/Tomato-Novel-Downloader)
- [lumina-ai-inc/chunkr · ★ 4 153 · Rust · RC](https://repo.masters-masters.com/repos/lumina-ai-inc/chunkr)
- [juhaku/utoipa · ★ 4 141 · Rust · RC](https://repo.masters-masters.com/repos/juhaku/utoipa)
- [Fredolx/open-tv · ★ 4 141 · Rust · RC](https://repo.masters-masters.com/repos/Fredolx/open-tv)
- [arxanas/git-branchless · ★ 4 140 · Rust · RC](https://repo.masters-masters.com/repos/arxanas/git-branchless)

---
Données : GitHub · Illustration : image publique du projet, pixelisée par RepoMasters.