Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

jy-yuan/KIVI

[ICML 2024] KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache

Propriétaire
jy-yuan (compte personnel)
Étoiles
Étoiles : 438
Forks
Forks : 57
Langage
Python
Licence
MIT
Création
2024
Sujets
inferencelarge-language-modelsllamallmnatural-language-processingquantizationtransformer
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python