# SqueezeAILab/KVQuant

<https://repo.masters-masters.com/repos/SqueezeAILab/KVQuant>

[Accueil](https://repo.masters-masters.com/) › [SqueezeAILab](https://repo.masters-masters.com/owners/SqueezeAILab) › [KVQuant](https://repo.masters-masters.com/repos/SqueezeAILab/KVQuant)

SqueezeAILab/KVQuant, dépôt open source à 436 étoiles sur GitHub. Carte Alpha de RepoMasters. \[NeurIPS 2024\] KVQuant: Towards 10 Million Context Length LLM…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [SqueezeAILab](https://repo.masters-masters.com/owners/SqueezeAILab) |
| Étoiles | 436 |
| Forks | 49 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Aucune |
| Création | 2024 |
| Sujets | compression, efficient-inference, efficient-model, large-language-models, llama, llm, localllama, localllm, mistral, model-compression |
| Rang | [Alpha (250 à 699 ★)](https://repo.masters-masters.com/ranks/b_movie) |
| Voir sur GitHub | [SqueezeAILab/KVQuant](https://github.com/SqueezeAILab/KVQuant) |

## Fiche du dépôt

\[NeurIPS 2024\] KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

Rang des dépôts qui ont 250 à 699 ★ sur GitHub. Probabilité publiée par carte tirée : 20 %. Rareté : Peu commune.

## Autres dépôts de SqueezeAILab

- [SqueezeAILab/LLMCompiler · ★ 1 901 · Python · Bêta](https://repo.masters-masters.com/repos/SqueezeAILab/LLMCompiler)
- [SqueezeAILab/SqueezeLLM · ★ 724 · Python · Bêta](https://repo.masters-masters.com/repos/SqueezeAILab/SqueezeLLM)
- [SqueezeAILab/TinyAgent · ★ 502 · Python · Alpha](https://repo.masters-masters.com/repos/SqueezeAILab/TinyAgent)
- [SqueezeAILab/LLM2LLM · ★ 196 · Python · Prototype](https://repo.masters-masters.com/repos/SqueezeAILab/LLM2LLM)

## D’autres dépôts Python

- [wjluoxiao/XB\_ToolBox · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/wjluoxiao/XB_ToolBox)
- [Shao-Music-AI/Shao · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/Shao-Music-AI/Shao)
- [prekuter/dryforge · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/prekuter/dryforge)
- [openid/python-openid · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/openid/python-openid)
- [guoguo12/billboard-charts · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/guoguo12/billboard-charts)
- [wmayner/pyphi · ★ 436 · Python · Alpha](https://repo.masters-masters.com/repos/wmayner/pyphi)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.