AlphaPeu commune
SqueezeAILab/KVQuant
[NeurIPS 2024] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
- Propriétaire
- SqueezeAILab (organisation)
- Étoiles
- Étoiles : 436
- Forks
- Forks : 49
- Langage
- Python
- Licence
- Aucune
- Création
- 2024
- Sujets
- compressionefficient-inferenceefficient-modellarge-language-modelsllamallmlocalllamalocalllmmistralmodel-compression
- Rang
- Alpha (250 à 699 ★) Ce que veut dire ce rang
Autres dépôts de SqueezeAILab
Les 5 dépôts de SqueezeAILab- SqueezeAILab/LLMCompilerÉtoiles : 1 900PythonBêta
- SqueezeAILab/SqueezeLLMÉtoiles : 724PythonBêta
- SqueezeAILab/TinyAgentÉtoiles : 501PythonAlpha
- SqueezeAILab/LLM2LLMÉtoiles : 196PythonPrototype
D’autres dépôts Python
Tous les dépôts Python- Shao-Music-AI/ShaoÉtoiles : 436PythonAlpha
- joeseesun/qiaomu-downloadÉtoiles : 436PythonAlpha
- jss8649/quiet-tizenÉtoiles : 436PythonAlpha
- openid/python-openidÉtoiles : 436PythonAlpha
- guoguo12/billboard-chartsÉtoiles : 436PythonAlpha
- wmayner/pyphiÉtoiles : 436PythonAlpha