# mit-han-lab/omniserve

<https://repo.masters-masters.com/repos/mit-han-lab/omniserve>

[Accueil](https://repo.masters-masters.com/) › [mit-han-lab](https://repo.masters-masters.com/owners/mit-han-lab) › [omniserve](https://repo.masters-masters.com/repos/mit-han-lab/omniserve)

mit-han-lab/omniserve, dépôt open source à 867 étoiles sur GitHub. Carte Bêta de RepoMasters. \[MLSys'25\] QServe: W4A8KV4 Quantization and System Co-design for…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [mit-han-lab](https://repo.masters-masters.com/owners/mit-han-lab) |
| Étoiles | 867 |
| Forks | 74 |
| Langage | [C++](https://repo.masters-masters.com/languages/c-plus-plus) |
| Licence | Apache-2.0 |
| Création | 2024 |
| Rang | [Bêta (700 à 1 999 ★)](https://repo.masters-masters.com/ranks/box_office) |
| Voir sur GitHub | [mit-han-lab/omniserve](https://github.com/mit-han-lab/omniserve) |

## Fiche du dépôt

\[MLSys'25\] QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving; \[MLSys'25\] LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention

Rang des dépôts qui ont 700 à 1 999 ★ sur GitHub. Probabilité publiée par carte tirée : 6 %. Rareté : Rare.

## Autres dépôts de mit-han-lab

- [mit-han-lab/streaming-llm · ★ 7 277 · Python · Stable](https://repo.masters-masters.com/repos/mit-han-lab/streaming-llm)
- [mit-han-lab/llm-awq · ★ 3 662 · Python · RC](https://repo.masters-masters.com/repos/mit-han-lab/llm-awq)
- [mit-han-lab/efficientvit · ★ 3 376 · Python · RC](https://repo.masters-masters.com/repos/mit-han-lab/efficientvit)
- [mit-han-lab/bevfusion · ★ 3 236 · Python · RC](https://repo.masters-masters.com/repos/mit-han-lab/bevfusion)
- [mit-han-lab/temporal-shift-module · ★ 2 229 · Python · RC](https://repo.masters-masters.com/repos/mit-han-lab/temporal-shift-module)
- [mit-han-lab/once-for-all · ★ 1 957 · Python · Bêta](https://repo.masters-masters.com/repos/mit-han-lab/once-for-all)

## D’autres dépôts C++

- [JokerJohn/LIO\_SAM\_6AXIS · ★ 868 · C++ · Bêta](https://repo.masters-masters.com/repos/JokerJohn/LIO_SAM_6AXIS)
- [Slicer/SlicerGitSVNArchive · ★ 867 · C++ · Bêta](https://repo.masters-masters.com/repos/Slicer/SlicerGitSVNArchive)
- [Mapaler/FastCopy-M · ★ 867 · C++ · Bêta](https://repo.masters-masters.com/repos/Mapaler/FastCopy-M)
- [clMathLibraries/clBLAS · ★ 866 · C++ · Bêta](https://repo.masters-masters.com/repos/clMathLibraries/clBLAS)
- [ashea-code/BLUI · ★ 866 · C++ · Bêta](https://repo.masters-masters.com/repos/ashea-code/BLUI)

---
Données : GitHub · Illustration : image publique du projet, pixelisée par RepoMasters.