PrototypeCommune
ahtx/kindi
A custom LLM inference engine for low-cost GPUs: NVIDIA cards from a 1 GB Quadro K420 to an RTX 3080, the AMD Radeon 780M and the CPU. Runs the Bonsai 2B to 27B models and Nemotron with an OpenAI-compatible server.
- Propriétaire
- ahtx (compte personnel)
- Étoiles
- Étoiles : 115
- Forks
- Forks : 29
- Langage
- Python
- Licence
- AGPL-3.0
- Création
- 2026
- Sujets
- bitnetcudakeplerllm-inferencelocal-llmopenai-compatiblequadroternaryamperemaxwell
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts Python
Tous les dépôts Python- yhonaach/CrustThunderbirdÉtoiles : 115PythonPrototype
- Tsanyamra/CoreQilinÉtoiles : 115PythonPrototype
- sucikhairida/CenterNagaÉtoiles : 115PythonPrototype
- mnaberez/supervisor_twiddlerÉtoiles : 115PythonPrototype
- brosner/django-taggingÉtoiles : 115PythonPrototype
- jwagner/playitslowlyÉtoiles : 115PythonPrototype