RCÉpique
syv-ai/HyperQwen
Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.
- Propriétaire
- syv-ai (organisation)
- Étoiles
- Étoiles : 2 493
- Forks
- Forks : 318
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2026
- Sujets
- kv-cachellm-inferencelocal-llmquantizationqwenqwen3rtx-3090speculative-decodingvllmconsumer-gpu
- Rang
- RC (2 000 à 4 999 ★) Ce que veut dire ce rang
Autres dépôts de syv-ai
Les 2 dépôts de syv-ai- syv-ai/dashÉtoiles : 286TypeScriptAlpha
D’autres dépôts Python
Tous les dépôts Python- fhamborg/news-pleaseÉtoiles : 2 493PythonRC
- microsoft/debugpyÉtoiles : 2 493PythonRC
- akfamily/akquantÉtoiles : 2 493PythonRC
- bslatkin/effectivepythonÉtoiles : 2 492PythonRC