PrototypeCommune
lumia431/photon_infer
A High-Performance LLM Inference Engine with vLLM-Style Continuous Batching
- Propriétaire
- lumia431 (compte personnel)
- Étoiles
- Étoiles : 122
- Forks
- Forks : 7
- Langage
- C++
- Licence
- MIT
- Création
- 2025
- Sujets
- ai-infracontinuous-batchinginference-enginellm-inferencemodern-cpppaged-attentionvllm
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de lumia431
Les 2 dépôts de lumia431- lumia431/reactionÉtoiles : 607C++Alpha
D’autres dépôts C++
Tous les dépôts C++- lxw112190/lw.Web2AndroidÉtoiles : 122C++Prototype
- zmodelerlover/OpenNR-ReShadeÉtoiles : 122C++Prototype
- badcompany94-rcmp/project-tandemÉtoiles : 122C++Prototype
- sztupy/adbputtyÉtoiles : 122C++Prototype
- shafreeck/pb2jsonÉtoiles : 122C++Prototype
- openigtlink/OpenIGTLinkÉtoiles : 122C++Prototype