AlphaPeu commune
guqiong96/Lvllm
LvLLM is a special NUMA extension of vllm that makes full use of CPU and memory resources, reduces GPU memory requirements, and features an efficient GPU parallel and NUMA parallel architecture, supporting hybrid inference for MOE large models.
- Propriétaire
- guqiong96 (compte personnel)
- Étoiles
- Étoiles : 474
- Forks
- Forks : 42
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2025
- Sujets
- hybridinferencemodelmoenumaparallelismvllmcpudecodegpu
- Rang
- Alpha (250 à 699 ★) Ce que veut dire ce rang
Autres dépôts de guqiong96
Les 2 dépôts de guqiong96- guqiong96/LsglangÉtoiles : 164PythonPrototype
D’autres dépôts Python
Tous les dépôts Python- amd/skillsÉtoiles : 474PythonAlpha
- AI272/speakerÉtoiles : 474PythonAlpha
- ByteDance-Seed/EdgeBenchÉtoiles : 474PythonAlpha
- django-commons/django-robotsÉtoiles : 474PythonAlpha
- py-moneyed/py-moneyedÉtoiles : 474PythonAlpha
- TabViewer/tabviewÉtoiles : 474PythonAlpha