Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

FMInference/H2O

[NeurIPS'23] H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models.

Propriétaire
FMInference (organisation)
Étoiles
Étoiles : 537
Forks
Forks : 91
Langage
Python
Licence
Aucune
Création
2023
Sujets
gpt-3heavy-hittershigh-throughputkv-cachelarge-language-modelssparsity
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

Autres dépôts de FMInference

Les 3 dépôts de FMInference

D’autres dépôts Python

Tous les dépôts Python