Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
StableTrès rare

Tiiny-AI/PowerInfer

High-speed Large Language Model Serving for Local Deployment

Propriétaire
Tiiny-AI (organisation)
Étoiles
Étoiles : 9 862
Forks
Forks : 612
Langage
C++
Licence
MIT
Création
2023
Sujets
large-language-modelsllamallmllm-inferencelocal-inference
Rang
Stable (5 000 à 19 999 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts C++

Tous les dépôts C++