AlphaPeu commune
dipampaul17/KVSplit
Run larger LLMs with longer contexts on Apple Silicon by using differentiated precision for KV cache quantization. KVSplit enables 8-bit keys & 4-bit values, reducing memory by 59% with <1% quality loss. Includes benchmarking, visualization, and one-command setup. Optimized for M1/M2/M3 Macs with M…
- Propriétaire
- dipampaul17 (compte personnel)
- Étoiles
- Étoiles : 361
- Forks
- Forks : 13
- Langage
- Python
- Licence
- Aucune
- Création
- 2025
- Sujets
- apple-silicongenerative-aikv-cachellama-cppllmm1m2m3memory-optimizationmetal
- Rang
- Alpha (250 à 699 ★) Ce que veut dire ce rang
Autres dépôts de dipampaul17
Les 2 dépôts de dipampaul17- dipampaul17/AgentGuardÉtoiles : 173JavaScriptPrototype
D’autres dépôts Python
Tous les dépôts Python- eliautobot/my-virtual-officeÉtoiles : 361PythonAlpha
- Mininglamp-AI/ciderÉtoiles : 361PythonAlpha
- JFGAtlas/aethergate-proÉtoiles : 361PythonAlpha
- pyelasticsearch/pyelasticsearchÉtoiles : 361PythonAlpha
- github/pycon2011Étoiles : 361PythonAlpha
- inconshreveable/sqltapÉtoiles : 361PythonAlpha