PrototypeCommune
giannisanni/pulsar
SSD-streaming inference engine for giant MoE models (Rust + CUDA). GLM 5.2 743B at 2 tok/s and Hy3 295B at 7 tok/s on two consumer 16GB GPUs. Zero-config multi-GPU: measures PCIe bandwidth, places attention and hot experts where they fit.
- Propriétaire
- giannisanni (compte personnel)
- Étoiles
- Étoiles : 231
- Forks
- Forks : 28
- Langage
- Rust
- Licence
- Aucune
- Création
- 2026
- Sujets
- cudaggufglminference-enginellmlocal-llmmixture-of-expertsmoemulti-gpuquantization
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts Rust
Tous les dépôts Rust- slowql/slowqlÉtoiles : 231RustPrototype
- OpenGamingCollective/cardwireÉtoiles : 231RustPrototype
- opengeos/terrioÉtoiles : 231RustPrototype
- TeXitoi/rust-mdoÉtoiles : 231RustPrototype
- mattgathu/dumaÉtoiles : 231RustPrototype
- pop-os/distinstÉtoiles : 231RustPrototype