Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
BêtaRare

scrya-com/rotorquant

KV cache compression via block-diagonal rotation. Beats TurboQuant: better PPL (6.91 vs 7.07), 28% faster decode, 5.3x faster prefill, 44x fewer params. Drop-in llama.cpp integration.

Propriétaire
scrya-com (organisation)
Étoiles
Étoiles : 1 058
Forks
Forks : 88
Langage
Python
Licence
Aucune
Création
2026
Rang
Bêta (700 à 1 999 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python