# huggingface/tokenizers

<https://repo.masters-masters.com/repos/huggingface/tokenizers>

[Accueil](https://repo.masters-masters.com/) › [huggingface](https://repo.masters-masters.com/owners/huggingface) › [tokenizers](https://repo.masters-masters.com/repos/huggingface/tokenizers)

huggingface/tokenizers, dépôt open source à 11 217 étoiles sur GitHub. Carte Stable de RepoMasters. 💥 Fast State-of-the-Art Tokenizers optimized for Research…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [huggingface](https://repo.masters-masters.com/owners/huggingface) |
| Étoiles | 11 217 |
| Forks | 1 244 |
| Langage | [Rust](https://repo.masters-masters.com/languages/rust) |
| Licence | Apache-2.0 |
| Création | 2019 |
| Sujets | nlp, natural-language-processing, natural-language-understanding, language-model, transformers, bert, gpt |
| Rang | [Stable (5 000 à 19 999 ★)](https://repo.masters-masters.com/ranks/cult) |
| Voir sur GitHub | [huggingface/tokenizers](https://github.com/huggingface/tokenizers) |

## Fiche du dépôt

💥 Fast State-of-the-Art Tokenizers optimized for Research and Production

Rang des dépôts qui ont 5 000 à 19 999 ★ sur GitHub. Probabilité publiée par carte tirée : 0,9 %. Rareté : Très rare.

## Autres dépôts de huggingface

- [huggingface/transformers · ★ 168 432 · Python · LTS](https://repo.masters-masters.com/repos/huggingface/transformers)
- [huggingface/pytorch-image-models · ★ 37 263 · Python · LTS](https://repo.masters-masters.com/repos/huggingface/pytorch-image-models)
- [huggingface/diffusers · ★ 34 848 · Python · LTS](https://repo.masters-masters.com/repos/huggingface/diffusers)
- [huggingface/agents-course · ★ 34 320 · MDX · LTS](https://repo.masters-masters.com/repos/huggingface/agents-course)
- [huggingface/smolagents · ★ 30 182 · Python · LTS](https://repo.masters-masters.com/repos/huggingface/smolagents)
- [huggingface/lerobot · ★ 28 638 · Python · LTS](https://repo.masters-masters.com/repos/huggingface/lerobot)

## D’autres dépôts Rust

- [ekzhang/bore · ★ 11 571 · Rust · Stable](https://repo.masters-masters.com/repos/ekzhang/bore)
- [Nasiko-Labs/nasiko · ★ 11 445 · Rust · Stable](https://repo.masters-masters.com/repos/Nasiko-Labs/nasiko)
- [perspective-dev/perspective · ★ 11 382 · Rust · Stable](https://repo.masters-masters.com/repos/perspective-dev/perspective)
- [QuipNetwork/hashsigs-rs · ★ 11 206 · Rust · Stable](https://repo.masters-masters.com/repos/QuipNetwork/hashsigs-rs)
- [dmtrKovalenko/fff · ★ 11 200 · Rust · Stable](https://repo.masters-masters.com/repos/dmtrKovalenko/fff)
- [storytold/vectorcraft · ★ 11 200 · Rust · Stable](https://repo.masters-masters.com/repos/storytold/vectorcraft)

---
Données : GitHub · Illustration : image publique du projet, pixelisée par RepoMasters.