Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
BêtaRare

ModelCloud/GPTQModel

LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

Propriétaire
ModelCloud (organisation)
Étoiles
Étoiles : 1 283
Forks
Forks : 213
Langage
Python
Licence
Aucune
Création
2024
Sujets
gptqoptimumpeftquantizationsglangtransformersvllm
Rang
Bêta (700 à 1 999 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python