BêtaRare
IST-DASLab/marlin
FP16xINT4 LLM inference kernel that can achieve near-ideal ~4x speedups up to medium batchsizes of 16-32 tokens.
- Propriétaire
- IST-DASLab (organisation)
- Étoiles
- Étoiles : 1 174
- Forks
- Forks : 95
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- 4bitkernelllmquantization
- Rang
- Bêta (700 à 1 999 ★) Ce que veut dire ce rang
Autres dépôts de IST-DASLab
Les 13 dépôts de IST-DASLab- IST-DASLab/gptqÉtoiles : 2 389PythonRC
- IST-DASLab/sparsegptÉtoiles : 902PythonBêta
- IST-DASLab/PanzaMailÉtoiles : 305PythonAlpha
- IST-DASLab/qmoeÉtoiles : 279PythonAlpha
- IST-DASLab/llmqÉtoiles : 266C++Alpha
- IST-DASLab/qutlassÉtoiles : 204C++Prototype
D’autres dépôts Python
Tous les dépôts Python- dannymcc/bluehoodÉtoiles : 1 174PythonBêta
- TIGER-AI-Lab/ClawBenchÉtoiles : 1 174PythonBêta
- viticci/shortcuts-playground-pluginÉtoiles : 1 174PythonBêta
- muricoca/crabÉtoiles : 1 174PythonBêta
- tomchop/malcomÉtoiles : 1 174PythonBêta
- chrippa/ds4drvÉtoiles : 1 174PythonBêta