PrototypeCommune
swellweb/reame
CPU-first LLM inference server on llama.cpp. Runs useful models on free-tier ARM boxes; rewriting the input made it ~6x faster and more accurate than tuning the engine. MIT, benchmarks and failures included.
- Propriétaire
- swellweb (compte personnel)
- Étoiles
- Étoiles : 114
- Forks
- Forks : 10
- Langage
- C++
- Licence
- MIT
- Création
- 2026
- Sujets
- cpuggufinferencekv-cachellama-cppllmopenai-apispeculative-decodinglocal-llmself-hosted
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de swellweb
Les 2 dépôts de swellweb- swellweb/targetBridgeÉtoiles : 332SwiftAlpha
D’autres dépôts C++
Tous les dépôts C++- 2dom/keypadÉtoiles : 114C++Prototype
- Sinan-Karakaya/DQ8-RecompiledÉtoiles : 114C++Prototype
- 0herculabs/hl360-forza3Étoiles : 114C++Prototype
- vicaya/hypertableÉtoiles : 114C++Prototype
- apache/activemq-cppÉtoiles : 114C++Prototype
- vavrusa/libusbnetÉtoiles : 114C++Prototype