PrototypeCommune
yalun753/moe-l2
MoE expert offload for low-VRAM GPUs — run 100B+ MoE models (DeepSeek, Qwen, Mixtral) on 8 GB cards. Expert cache with LRU hot experts, OpenAI-compatible proxy, GGUF multi-shard.
- Propriétaire
- yalun753 (compte personnel)
- Étoiles
- Étoiles : 146
- Forks
- Forks : 6
- Langage
- Cuda
- Licence
- Apache-2.0
- Création
- 2026
- Sujets
- consumer-gpudeepseekexpert-cachingllama-cppllm-inferencemoevram-optimization
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts Cuda
Tous les dépôts Cuda- PWhiddy/Fat-CloudsÉtoiles : 147CudaPrototype
- lixincn2015/Partial-Order-PruningÉtoiles : 147CudaPrototype
- eunomia-bpf/basic-cuda-tutorialÉtoiles : 146CudaPrototype
- Infatoshi/MegaQwenÉtoiles : 145CudaPrototype
- enCRYPTON-labs/HEonGPUÉtoiles : 144CudaPrototype
- meder411/PyTorch-EMDLossÉtoiles : 143CudaPrototype