AlphaPeu commune
prabanta-dev/janas
37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cpp on all 13 models compared in Q4_K_M. LLMs bigger than your RAM, pure C, CPU or GPU.
- Propriétaire
- prabanta-dev (organisation)
- Étoiles
- Étoiles : 556
- Forks
- Forks : 45
- Langage
- C
- Licence
- GPL-3.0
- Création
- 2026
- Sujets
- avx2ccpu-inferenceggufinference-enginelinuxllmlocal-llmmixture-of-expertsmoe
- Rang
- Alpha (250 à 699 ★) Ce que veut dire ce rang
D’autres dépôts C
Tous les dépôts C- jedisct1/swift-sodiumÉtoiles : 556CAlpha
- Davidslv/rogueÉtoiles : 556CAlpha
- memfault/interruptÉtoiles : 556CAlpha