# psmarter/mini-infer

<https://repo.masters-masters.com/repos/psmarter/mini-infer>

[Accueil](https://repo.masters-masters.com/) › [psmarter](https://repo.masters-masters.com/owners/psmarter) › [mini-infer](https://repo.masters-masters.com/repos/psmarter/mini-infer)

psmarter/mini-infer, dépôt open source à 237 étoiles sur GitHub. Carte Prototype de RepoMasters. LLM inference engine from scratch — paged KV cache…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [psmarter](https://repo.masters-masters.com/owners/psmarter) |
| Étoiles | 237 |
| Forks | 12 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | MIT |
| Création | 2025 |
| Sujets | cuda, inference, llm, machine-learning, pagedattention, pytorch, transformer, triton, language-model, continuous-batching |
| Rang | [Prototype (100 à 249 ★)](https://repo.masters-masters.com/ranks/rush) |
| Voir sur GitHub | [psmarter/mini-infer](https://github.com/psmarter/mini-infer) |

## Fiche du dépôt

LLM inference engine from scratch — paged KV cache, continuous batching, chunked prefill, prefix caching, speculative decoding, CUDA graph, tensor parallelism, OpenAI-compatible serving

Rang des dépôts qui ont 100 à 249 ★ sur GitHub. Probabilité publiée par carte tirée : 70 %. Rareté : Commune.

## Autres dépôts de psmarter

- [psmarter/PMPP-Learning · ★ 197 · C++ · Prototype](https://repo.masters-masters.com/repos/psmarter/PMPP-Learning)
- [psmarter/CUDA-Practice · ★ 127 · Cuda · Prototype](https://repo.masters-masters.com/repos/psmarter/CUDA-Practice)

## D’autres dépôts Python

- [jmedina21/deck-as-controller · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/jmedina21/deck-as-controller)
- [10291124jcjc-dotcom/ai-character-swap · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/10291124jcjc-dotcom/ai-character-swap)
- [RabbittuX/purrge · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/RabbittuX/purrge)
- [jeetsukumaran/DendroPy · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/jeetsukumaran/DendroPy)
- [wordnik/wordnik-python · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/wordnik/wordnik-python)
- [GDSSecurity/GWT-Penetration-Testing-Toolset · ★ 237 · Python · Prototype](https://repo.masters-masters.com/repos/GDSSecurity/GWT-Penetration-Testing-Toolset)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.