Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage. Crédits
AlphaPeu commune

dingo-actual/infini-transformer

PyTorch implementation of Infini-Transformer from "Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention" (https://arxiv.org/abs/2404.07143)

Propriétaire
dingo-actual (compte personnel)
Étoiles
Étoiles : 301
Forks
Forks : 24
Langage
Python
Licence
MIT
Création
2024
Sujets
attention-mechanismdeep-learninglong-contextpytorchtransformersinfini-attentionmixture-of-depths
Rang
Alpha (250 à 699 ★) Ce que veut dire ce rang
Voir sur GitHub

D’autres dépôts Python

Tous les dépôts Python