Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

AstraNetLab/CacheRoute

CacheRoute is an innovative LLM scheduling scheme dedicated to enabling flexible KV cache reuse across LLM systems, improving task performance and system efficiency.

Propriétaire
AstraNetLab (compte personnel)
Étoiles
Étoiles : 257
Forks
Forks : 2
Langage
Python
Licence
Apache-2.0
Création
2025
Sujets
knowledge-injectionllm-inferencellm-task-schedulingkvcache-reusekvcachellmlmcachenetworkroutingvllm
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python