PrototypeCommune
azrtydxb/Fastllm-proxy
The lowest-overhead LLM router. Production-ready, highly available, one OpenAI-compatible endpoint in front of 80 providers and your own vLLM/SGLang — 0.76 µs per request, no I/O on the request path, cache-affinity routing, RBAC, budgets and a 13-screen UI in the binary.
- Propriétaire
- azrtydxb (organisation)
- Étoiles
- Étoiles : 107
- Forks
- Forks : 92
- Langage
- Rust
- Licence
- Apache-2.0
- Création
- 2026
- Sujets
- ai-gatewayinferencelitellmllmllm-gatewayload-balancingobservabilityopenai-apirbacreverse-proxy
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de azrtydxb
Les 2 dépôts de azrtydxb- azrtydxb/procoderÉtoiles : 210GoPrototype
D’autres dépôts Rust
Tous les dépôts Rust- cachix/agentapsÉtoiles : 107RustPrototype
- henrydennis/petalÉtoiles : 107RustPrototype
- nixesty/now-barÉtoiles : 107RustPrototype
- Florob/RustyXMLÉtoiles : 107RustPrototype
- mopp/AxelÉtoiles : 107RustPrototype
- systemd-cron/systemd-cron-nextÉtoiles : 107RustPrototype