# alasdairforsythe/tokenmonster

<https://repo.masters-masters.com/repos/alasdairforsythe/tokenmonster>

[Accueil](https://repo.masters-masters.com/) › [alasdairforsythe](https://repo.masters-masters.com/owners/alasdairforsythe) › [tokenmonster](https://repo.masters-masters.com/repos/alasdairforsythe/tokenmonster)

alasdairforsythe/tokenmonster, dépôt open source à 625 étoiles sur GitHub. Carte Alpha de RepoMasters. Ungreedy subword tokenizer and vocabulary trainer for…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [alasdairforsythe](https://repo.masters-masters.com/owners/alasdairforsythe) |
| Étoiles | 625 |
| Forks | 23 |
| Langage | [Go](https://repo.masters-masters.com/languages/go) |
| Licence | MIT |
| Création | 2023 |
| Sujets | tokenisation, tokenization, tokenize, tokenizer, tokenizing, vocabulary, vocabulary-builder, text-tokenization, vocabulary-generator |
| Rang | [Alpha (250 à 699 ★)](https://repo.masters-masters.com/ranks/b_movie) |
| Voir sur GitHub | [alasdairforsythe/tokenmonster](https://github.com/alasdairforsythe/tokenmonster) |

## Fiche du dépôt

Ungreedy subword tokenizer and vocabulary trainer for Python, Go, C++ & Javascript

Rang des dépôts qui ont 250 à 699 ★ sur GitHub. Probabilité publiée par carte tirée : 20 %. Rareté : Peu commune.

## D’autres dépôts Go

- [Vencord/Installer · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/Vencord/Installer)
- [DataDog/orchestrion · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/DataDog/orchestrion)
- [reteps/dockerfmt · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/reteps/dockerfmt)
- [gruntwork-io/fetch · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/gruntwork-io/fetch)
- [pires/go-proxyproto · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/pires/go-proxyproto)
- [prometheus-community/ipmi\_exporter · ★ 625 · Go · Alpha](https://repo.masters-masters.com/repos/prometheus-community/ipmi_exporter)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.