BêtaRare
mit-han-lab/omniserve
[MLSys'25] QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving; [MLSys'25] LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention
- Propriétaire
- mit-han-lab (organisation)
- Étoiles
- Étoiles : 867
- Forks
- Forks : 73
- Langage
- C++
- Licence
- Apache-2.0
- Création
- 2024
- Rang
- Bêta (700 à 1 999 ★) Ce que veut dire ce rang
Autres dépôts de mit-han-lab
Les 53 dépôts de mit-han-lab- mit-han-lab/streaming-llmÉtoiles : 7 276PythonStable
- mit-han-lab/llm-awqÉtoiles : 3 661PythonRC
- mit-han-lab/efficientvitÉtoiles : 3 374PythonRC
- mit-han-lab/bevfusionÉtoiles : 3 235PythonRC
- mit-han-lab/temporal-shift-moduleÉtoiles : 2 229PythonRC
- mit-han-lab/once-for-allÉtoiles : 1 957PythonBêta
D’autres dépôts C++
Tous les dépôts C++- JokerJohn/LIO_SAM_6AXISÉtoiles : 868C++Bêta
- Slicer/SlicerGitSVNArchiveÉtoiles : 867C++Bêta
- Mapaler/FastCopy-MÉtoiles : 867C++Bêta
- clMathLibraries/clBLASÉtoiles : 866C++Bêta
- ashea-code/BLUIÉtoiles : 866C++Bêta