# OpenNMT/Tokenizer

<https://repo.masters-masters.com/repos/OpenNMT/Tokenizer>

[Accueil](https://repo.masters-masters.com/) › [OpenNMT](https://repo.masters-masters.com/owners/OpenNMT) › [Tokenizer](https://repo.masters-masters.com/repos/OpenNMT/Tokenizer)

OpenNMT/Tokenizer, dépôt open source à 343 étoiles sur GitHub. Carte Alpha de RepoMasters. Fast and customizable text tokenization library with BPE and…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [OpenNMT](https://repo.masters-masters.com/owners/OpenNMT) |
| Étoiles | 343 |
| Forks | 83 |
| Langage | [C++](https://repo.masters-masters.com/languages/c-plus-plus) |
| Licence | MIT |
| Création | 2017 |
| Sujets | tokenizer, sentencepiece, natural-language-processing, machine-translation, bpe, unicode, tokenization, icu, python, cpp |
| Rang | [Alpha (250 à 699 ★)](https://repo.masters-masters.com/ranks/b_movie) |
| Voir sur GitHub | [OpenNMT/Tokenizer](https://github.com/OpenNMT/Tokenizer) |

## Fiche du dépôt

Fast and customizable text tokenization library with BPE and SentencePiece support

Rang des dépôts qui ont 250 à 699 ★ sur GitHub. Probabilité publiée par carte tirée : 20 %. Rareté : Peu commune.

## Autres dépôts de OpenNMT

- [OpenNMT/OpenNMT-py · ★ 7 020 · Python · Stable](https://repo.masters-masters.com/repos/OpenNMT/OpenNMT-py)
- [OpenNMT/CTranslate2 · ★ 4 729 · C++ · RC](https://repo.masters-masters.com/repos/OpenNMT/CTranslate2)
- [OpenNMT/OpenNMT · ★ 2 387 · Lua · RC](https://repo.masters-masters.com/repos/OpenNMT/OpenNMT)
- [OpenNMT/OpenNMT-tf · ★ 1 485 · Python · Bêta](https://repo.masters-masters.com/repos/OpenNMT/OpenNMT-tf)
- [OpenNMT/Im2Text · ★ 137 · Lua · Prototype](https://repo.masters-masters.com/repos/OpenNMT/Im2Text)

## D’autres dépôts C++

- [johnBuffer/StableIndexVector · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/johnBuffer/StableIndexVector)
- [hyprnux/hyprglass · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/hyprnux/hyprglass)
- [MarioGalindoQ/Modern-CPP-Design-Patterns · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/MarioGalindoQ/Modern-CPP-Design-Patterns)
- [philogb/v8-gl · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/philogb/v8-gl)
- [amcewen/HttpClient · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/amcewen/HttpClient)
- [nektra/Deviare-InProc · ★ 343 · C++ · Alpha](https://repo.masters-masters.com/repos/nektra/Deviare-InProc)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.