PrototypeCommune
ferrumox/fox
A local LLM server built for concurrent work. Drop-in replacement for Ollama and/or OpenAI and Ollama APIs on one port. Requests that share a prompt reuse each other's KV cache instead of each prefilling it. Rust, wrapping llama.cpp.
- Propriétaire
- ferrumox (organisation)
- Étoiles
- Étoiles : 190
- Forks
- Forks : 28
- Langage
- Rust
- Licence
- Aucune
- Création
- 2026
- Sujets
- cudaggufinference-enginellama-cppllmlocal-llmmlxollamaollama-apiopenai-api
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de ferrumox
Les 2 dépôts de ferrumox- ferrumox/rabbitÉtoiles : 191RustPrototype
D’autres dépôts Rust
Tous les dépôts Rust- MetaFARS/codex-relayÉtoiles : 190RustPrototype
- UCS-Care-Group/mailcraftÉtoiles : 190RustPrototype
- timoncool/speech-studioÉtoiles : 190RustPrototype
- georust/projÉtoiles : 190RustPrototype
- brendanzab/approxÉtoiles : 190RustPrototype
- raymanfx/libv4l-rsÉtoiles : 190RustPrototype