PrototypeCommune
NetEase-Media/grps_trtllm
Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance OpenAI LLM service implemented with GPRS+TensorRT-LLM+Tokenizers.cpp, supporting chat and function call, AI agents, distributed multi-GPU inference, multimodal capabilities, and a Gradio chat interface.
- Propriétaire
- NetEase-Media (organisation)
- Étoiles
- Étoiles : 161
- Forks
- Forks : 12
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- llmopenaitensorrt-llmchatglmllama3qwen2function-callai-agentllama-indexmulti-modal
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de NetEase-Media
Les 4 dépôts de NetEase-Media- NetEase-Media/easy-ngoÉtoiles : 300GoAlpha
- NetEase-Media/ngoÉtoiles : 183GoPrototype
- NetEase-Media/grpsÉtoiles : 172C++Prototype
D’autres dépôts Python
Tous les dépôts Python- shootthesound/ComfyUI-Fizgig-H3-StillÉtoiles : 161PythonPrototype
- d4ncboz/museaiÉtoiles : 161PythonPrototype
- aa1143/NamiGPTÉtoiles : 161PythonPrototype
- lilspikey/django-batch-selectÉtoiles : 161PythonPrototype
- benosteen/FaceRecognitionÉtoiles : 161PythonPrototype
- defnull/multipartÉtoiles : 161PythonPrototype