# NetEase-Media/grps\_trtllm

<https://repo.masters-masters.com/repos/NetEase-Media/grps_trtllm>

[Accueil](https://repo.masters-masters.com/) › [NetEase-Media](https://repo.masters-masters.com/owners/NetEase-Media) › [grps\_trtllm](https://repo.masters-masters.com/repos/NetEase-Media/grps_trtllm)

NetEase-Media/grps\_trtllm, dépôt open source à 161 étoiles sur GitHub. Carte Prototype de RepoMasters. Higher performance OpenAI LLM service than vLLM serve…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [NetEase-Media](https://repo.masters-masters.com/owners/NetEase-Media) |
| Étoiles | 161 |
| Forks | 12 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Apache-2.0 |
| Création | 2024 |
| Sujets | llm, openai, tensorrt-llm, chatglm, llama3, qwen2, function-call, ai-agent, llama-index, multi-modal |
| Rang | [Prototype (100 à 249 ★)](https://repo.masters-masters.com/ranks/rush) |
| Voir sur GitHub | [NetEase-Media/grps\_trtllm](https://github.com/NetEase-Media/grps_trtllm) |

## Fiche du dépôt

Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance OpenAI LLM service implemented with GPRS+TensorRT-LLM+Tokenizers.cpp, supporting chat and function call, AI agents, distributed multi-GPU inference, multimodal capabilities, and a Gradio chat interface.

Rang des dépôts qui ont 100 à 249 ★ sur GitHub. Probabilité publiée par carte tirée : 70 %. Rareté : Commune.

## Autres dépôts de NetEase-Media

- [NetEase-Media/easy-ngo · ★ 300 · Go · Alpha](https://repo.masters-masters.com/repos/NetEase-Media/easy-ngo)
- [NetEase-Media/ngo · ★ 183 · Go · Prototype](https://repo.masters-masters.com/repos/NetEase-Media/ngo)
- [NetEase-Media/grps · ★ 172 · C++ · Prototype](https://repo.masters-masters.com/repos/NetEase-Media/grps)

## D’autres dépôts Python

- [VectifyAI/jev-doc-search · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/VectifyAI/jev-doc-search)
- [Aoisop/mawoagent · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/Aoisop/mawoagent)
- [lemonadesaltbagel/crab · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/lemonadesaltbagel/crab)
- [lilspikey/django-batch-select · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/lilspikey/django-batch-select)
- [benosteen/FaceRecognition · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/benosteen/FaceRecognition)
- [defnull/multipart · ★ 161 · Python · Prototype](https://repo.masters-masters.com/repos/defnull/multipart)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.