PrototypeCommune
harleyszhang/rapid_llm
RapidLLM is an LLM inference framework with continuous batching, tensor and data parallelism, quantized weights, and with pluggable Triton/CUDA kernels.
- Propriétaire
- harleyszhang (compte personnel)
- Étoiles
- Étoiles : 196
- Forks
- Forks : 33
- Langage
- Python
- Licence
- Aucune
- Création
- 2024
- Sujets
- llama3llmllm-inferencepython3triton-kernelsattentioncontinuescontinuous-batchingflash-attention-3qwen3-moe
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de harleyszhang
Les 5 dépôts de harleyszhang- harleyszhang/cv_noteÉtoiles : 2 651PythonRC
- harleyszhang/llm_noteÉtoiles : 896PythonBêta
- harleyszhang/dl_noteÉtoiles : 532PythonAlpha
- harleyszhang/llm_countsÉtoiles : 125PythonPrototype
D’autres dépôts Python
Tous les dépôts Python- knoic/ComfyUI-MiniMaxH3-PrefixStreamÉtoiles : 196PythonPrototype
- kusaida/AdwairÉtoiles : 196PythonPrototype
- sepehr071/iran-mcpÉtoiles : 196PythonPrototype
- patpadgett/corkscrewÉtoiles : 196PythonPrototype
- wbond/sublime_prefixrÉtoiles : 196PythonPrototype
- seomoz/reppyÉtoiles : 196PythonPrototype