# IST-DASLab/marlin

<https://repo.masters-masters.com/repos/IST-DASLab/marlin>

[Accueil](https://repo.masters-masters.com/) › [IST-DASLab](https://repo.masters-masters.com/owners/IST-DASLab) › [marlin](https://repo.masters-masters.com/repos/IST-DASLab/marlin)

IST-DASLab/marlin, dépôt open source à 1 174 étoiles sur GitHub. Carte Bêta de RepoMasters. FP16xINT4 LLM inference kernel that can achieve near-ideal ~4x…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [IST-DASLab](https://repo.masters-masters.com/owners/IST-DASLab) |
| Étoiles | 1 174 |
| Forks | 95 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Apache-2.0 |
| Création | 2024 |
| Sujets | 4bit, kernel, llm, quantization |
| Rang | [Bêta (700 à 1 999 ★)](https://repo.masters-masters.com/ranks/box_office) |
| Voir sur GitHub | [IST-DASLab/marlin](https://github.com/IST-DASLab/marlin) |

## Fiche du dépôt

FP16xINT4 LLM inference kernel that can achieve near-ideal ~4x speedups up to medium batchsizes of 16-32 tokens.

Rang des dépôts qui ont 700 à 1 999 ★ sur GitHub. Probabilité publiée par carte tirée : 6 %. Rareté : Rare.

## Autres dépôts de IST-DASLab

- [IST-DASLab/gptq · ★ 2 389 · Python · RC](https://repo.masters-masters.com/repos/IST-DASLab/gptq)
- [IST-DASLab/sparsegpt · ★ 902 · Python · Bêta](https://repo.masters-masters.com/repos/IST-DASLab/sparsegpt)
- [IST-DASLab/PanzaMail · ★ 305 · Python · Alpha](https://repo.masters-masters.com/repos/IST-DASLab/PanzaMail)
- [IST-DASLab/qmoe · ★ 279 · Python · Alpha](https://repo.masters-masters.com/repos/IST-DASLab/qmoe)
- [IST-DASLab/llmq · ★ 266 · C++ · Alpha](https://repo.masters-masters.com/repos/IST-DASLab/llmq)
- [IST-DASLab/qutlass · ★ 204 · C++ · Prototype](https://repo.masters-masters.com/repos/IST-DASLab/qutlass)

## D’autres dépôts Python

- [goodreasonai/ScrapeServ · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/goodreasonai/ScrapeServ)
- [viticci/shortcuts-playground-plugin · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/viticci/shortcuts-playground-plugin)
- [Dpro-at/Tel-Agent · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/Dpro-at/Tel-Agent)
- [muricoca/crab · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/muricoca/crab)
- [tomchop/malcom · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/tomchop/malcom)
- [SamR1/FitTrackee · ★ 1 174 · Python · Bêta](https://repo.masters-masters.com/repos/SamR1/FitTrackee)

---
Données : GitHub · Illustration : image publique du projet, pixelisée par RepoMasters.