PrototypeCommune
NetEase-Media/grps
Deep Learning Deployment Framework: Supports tf/torch/trt/trtllm/vllm and other NN frameworks. Support dynamic batching, and streaming modes. It is dual-language compatible with Python and C++, offering scalability, extensibility, and high performance. It helps users quickly deploy models and provi…
- Propriétaire
- NetEase-Media (organisation)
- Étoiles
- Étoiles : 172
- Forks
- Forks : 11
- Langage
- C++
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- tensorflowtensorrttorchvllmdynamic-batchingservingtriton-inference-servertensorrt-llm
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de NetEase-Media
Les 4 dépôts de NetEase-Media- NetEase-Media/easy-ngoÉtoiles : 300GoAlpha
- NetEase-Media/ngoÉtoiles : 183GoPrototype
- NetEase-Media/grps_trtllmÉtoiles : 161PythonPrototype
D’autres dépôts C++
Tous les dépôts C++- Times-Z/GeekMagic-Open-FirmwareÉtoiles : 172C++Prototype
- dji-sdk/Cloud-API-2Étoiles : 172C++Prototype
- und3ath/xollvmÉtoiles : 172C++Prototype
- GilesBathgate/RapCADÉtoiles : 172C++Prototype
- pololu/pololu-led-strip-arduinoÉtoiles : 172C++Prototype
- racklin/moedict-desktopÉtoiles : 172C++Prototype