RCÉpique
thu-ml/SageAttention
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention achieves speedup of 2-5x compared to FlashAttention, without losing end-to-end metrics across language, image, and video models.
- Propriétaire
- thu-ml (organisation)
- Étoiles
- Étoiles : 3 988
- Forks
- Forks : 542
- Langage
- Cuda
- Licence
- Apache-2.0
- Création
- 2024
- Sujets
- attentioninference-accelerationllmquantizationcudatritonvideo-generationefficient-attentionmlsysllm-infra
- Rang
- RC (2 000 à 4 999 ★) Ce que veut dire ce rang
Autres dépôts de thu-ml
Les 27 dépôts de thu-ml- thu-ml/tianshouÉtoiles : 11 048PythonStable
- thu-ml/TurboDiffusionÉtoiles : 3 857PythonRC
- thu-ml/zhusuanÉtoiles : 2 218PythonRC
- thu-ml/RoboticsDiffusionTransformerÉtoiles : 1 815PythonBêta
- thu-ml/prolificdreamerÉtoiles : 1 563PythonBêta
- thu-ml/unidiffuserÉtoiles : 1 489PythonBêta
D’autres dépôts Cuda
Tous les dépôts Cuda- leoxiaobin/deep-high-resolution-net.pytorchÉtoiles : 4 477CudaRC
- Infatoshi/cuda-courseÉtoiles : 4 166CudaRC
- baidu-research/warp-ctcÉtoiles : 4 065CudaRC
- HazyResearch/ThunderKittensÉtoiles : 3 792CudaRC
- hujie-frank/SENetÉtoiles : 3 653CudaRC
- BBuf/how-to-optim-algorithm-in-cudaÉtoiles : 3 339CudaRC