BêtaRare
zhihu/ZhiLight
A highly optimized LLM inference acceleration engine for Llama and its variants.
- Propriétaire
- zhihu (organisation)
- Étoiles
- Étoiles : 906
- Forks
- Forks : 105
- Langage
- C++
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- inference-enginellmcudagptllamallm-servingpytorchllm-inferencemodel-servingdeepseek-r1
- Rang
- Bêta (700 à 1 999 ★) Ce que veut dire ce rang
Autres dépôts de zhihu
Les 13 dépôts de zhihu- zhihu/MatisseÉtoiles : 12 493JavaStable
- zhihu/griffithÉtoiles : 2 508TypeScriptRC
- zhihu/kidsÉtoiles : 1 213C++Bêta
- zhihu/ruceneÉtoiles : 1 019RustBêta
- zhihu/cuBERTÉtoiles : 546C++Alpha
- zhihu/RxLifecycleÉtoiles : 507JavaAlpha
D’autres dépôts C++
Tous les dépôts C++- eyalroz/cuda-api-wrappersÉtoiles : 906C++Bêta
- DustinHLand/vkDOOM3Étoiles : 906C++Bêta
- google/quicheÉtoiles : 906C++Bêta
- CLD2Owners/cld2Étoiles : 905C++Bêta