Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

thushan/olla

High-performance lightweight proxy and load balancer for LLM infrastructure. Intelligent routing, automatic failover and unified model discovery across local and remote inference backends.

Propriétaire
thushan (compte personnel)
Étoiles
Étoiles : 321
Forks
Forks : 59
Langage
Go
Licence
Apache-2.0
Création
2025
Sujets
aillm-inferencelmstudioollamaproxyvllmgolangllamacppllm-proxyllm-router
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Go

Tous les dépôts Go