Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
StableTrès rare

microsoft/LLMLingua

[EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

Propriétaire
microsoft (organisation)
Étoiles
Étoiles : 6 791
Forks
Forks : 447
Langage
Python
Licence
MIT
Création
2023
Rang
Stable (5 000 à 19 999 ★) Ce que veut dire ce rang
Voir sur GitHub

Autres dépôts de microsoft

Les 1 923 dépôts de microsoft

D’autres dépôts Python

Tous les dépôts Python