PrototypeCommune
defilantech/LLMKube
Kubernetes operator for self-hosted LLM inference across a heterogeneous GPU fleet: NVIDIA CUDA, AMD Vulkan, and Apple Silicon Metal. Runtimes: llama.cpp, vLLM, TGI, mlx-server. Multi-GPU sharding, model caching, OpenAI-compatible endpoints. Apache-2.0, run across homelab and on-prem fleets, active…
- Propriétaire
- defilantech (organisation)
- Étoiles
- Étoiles : 248
- Forks
- Forks : 43
- Langage
- Go
- Licence
- Apache-2.0
- Création
- 2025
- Sujets
- aiggufgpuinferencekuberneteskubernetes-operatorllama-cppllmlocal-llmnvidia
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts Go
Tous les dépôts Go- coder/acp-go-sdkÉtoiles : 248GoPrototype
- TencentCloud/tencentmeeting-cliÉtoiles : 248GoPrototype
- larksuite/meegle-cliÉtoiles : 248GoPrototype
- ipfs/go-datastoreÉtoiles : 248GoPrototype
- zimmski/tavorÉtoiles : 248GoPrototype
- felixge/tcpkeepaliveÉtoiles : 248GoPrototype