Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
PrototypeCommune

Sandermage/sndr_core_engine

SNDR Core Engine (Genesis) — vLLM runtime patch-overlay for Qwen3.6 + Gemma4 on consumer NVIDIA (Ampere sm_86, 2× A5000/3090). Qwen3.6-35B-A3B FP8 ~240 tok/s, 27B-int4 hybrid GDN+Mamba, Gemma4 26B/31B AWQ, 256K ctx. 321 patches: TurboQuant k8v4 KV, MTP/DFlash spec-decode, FULL cudagraph, hybrid GDN…

Propriétaire
Sandermage (compte personnel)
Étoiles
Étoiles : 133
Forks
Forks : 6
Langage
Python
Licence
Apache-2.0
Création
2026
Sujets
cudallm-inferenceqwenvllmspeculative-decodingtool-callingrtx-3090awqconsumer-gpugemma
Rang
Prototype (100 à 249 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python