PrototypeCommune
psmarter/mini-infer
LLM inference engine from scratch — paged KV cache, continuous batching, chunked prefill, prefix caching, speculative decoding, CUDA graph, tensor parallelism, OpenAI-compatible serving
- Propriétaire
- psmarter (compte personnel)
- Étoiles
- Étoiles : 237
- Forks
- Forks : 12
- Langage
- Python
- Licence
- MIT
- Création
- 2025
- Sujets
- cudainferencellmmachine-learningpagedattentionpytorchtransformertritonlanguage-modelcontinuous-batching
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de psmarter
Les 3 dépôts de psmarter- psmarter/PMPP-LearningÉtoiles : 197C++Prototype
- psmarter/CUDA-PracticeÉtoiles : 127CudaPrototype
D’autres dépôts Python
Tous les dépôts Python- jmedina21/deck-as-controllerÉtoiles : 237PythonPrototype
- iremcnar/loveYouÉtoiles : 237PythonPrototype
- sybil-solutions/all-historical-evidence-of-jesus-christÉtoiles : 237PythonPrototype
- jeetsukumaran/DendroPyÉtoiles : 237PythonPrototype
- wordnik/wordnik-pythonÉtoiles : 237PythonPrototype
- GDSSecurity/GWT-Penetration-Testing-ToolsetÉtoiles : 237PythonPrototype