Illustration : image publique du projet, pixelisée par RepoMasters. Crédits
RCÉpique

syv-ai/HyperQwen

Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.

Propriétaire
syv-ai (organisation)
Étoiles
Étoiles : 2 493
Forks
Forks : 318
Langage
Python
Licence
Apache-2.0
Création
2026
Sujets
kv-cachellm-inferencelocal-llmquantizationqwenqwen3rtx-3090speculative-decodingvllmconsumer-gpu
Rang
RC (2 000 à 4 999 ★) Ce que veut dire ce rang
Voir sur GitHub

Autres dépôts de syv-ai

Les 2 dépôts de syv-ai

D’autres dépôts Python

Tous les dépôts Python