PrototypeCommune
kekzl/imp
Run large AI chat models privately on your own NVIDIA RTX 50 or RTX PRO graphics card. On one RTX 5090, Qwen3.8-27B writes about 70 words per second, 1.4x faster than vLLM. Even a model almost four times larger than the card's memory runs. Works with apps made for ChatGPT or Claude. Starts with one…
- Propriétaire
- kekzl (compte personnel)
- Étoiles
- Étoiles : 124
- Forks
- Forks : 5
- Langage
- C++
- Licence
- MIT
- Création
- 2026
- Sujets
- blackwellcudamixture-of-expertsquantizationrtx-5090qweninference-enginenvfp4llm-inferencelocal-llm
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts C++
Tous les dépôts C++- samuelm2/vid2sceneÉtoiles : 124C++Prototype
- heldercorreia/speedcrunchÉtoiles : 124C++Prototype
- dorPXP/driftdroidÉtoiles : 124C++Prototype
- kelvie/basketÉtoiles : 124C++Prototype
- ruphy/speedcrunchÉtoiles : 124C++Prototype
- ThomasHabets/injcodeÉtoiles : 124C++Prototype