Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
PrototypeCommune

BenChaliah/NVFP4-on-4090-vLLM

AdaLLM is an NVFP4-first inference runtime for Ada Lovelace (RTX 4090) with FP8 KV cache and custom decode kernels. This repo targets NVFP4 weights and keeps the entire decode path in FP8

Propriétaire
BenChaliah (compte personnel)
Étoiles
Étoiles : 155
Forks
Forks : 7
Langage
Python
Licence
Aucune
Création
2026
Sujets
gpu-accelerationgpu-computinginference-enginellmnvfp4nvidia-gpu
Rang
Prototype (100 à 249 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python