AlphaPeu commune
interestingLSY/swiftLLM
A tiny yet powerful LLM inference system tailored for researching purpose. vLLM-equivalent performance with only 2k lines of code (2% of vLLM).
- Propriétaire
- interestingLSY (compte personnel)
- Étoiles
- Étoiles : 363
- Forks
- Forks : 43
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- transformertransformerscudainferenceinference-enginepytorchgptllamallmllm-inference
- Rang
- Alpha (250 à 699 ★) Ce que veut dire ce rang
Autres dépôts de interestingLSY
Les 2 dépôts de interestingLSY- interestingLSY/CUDA-From-Correctness-To-Performance-CodeÉtoiles : 187C++Prototype
D’autres dépôts Python
Tous les dépôts Python- chemark/ai-agent-bookÉtoiles : 363PythonAlpha
- caipeng328/TeleOCRÉtoiles : 363PythonAlpha
- arnaldolima1/gow-ascension-pcÉtoiles : 363PythonAlpha
- albertz/PyCParserÉtoiles : 363PythonAlpha
- openaddresses/pyesridumpÉtoiles : 363PythonAlpha
- psolin/cleancoÉtoiles : 363PythonAlpha