PrototypeCommune
lucidrains/mixture-of-attention
Some personal experiments around routing tokens to different autoregressive attention, akin to mixture-of-experts
- Propriétaire
- lucidrains (compte personnel)
- Étoiles
- Étoiles : 121
- Forks
- Forks : 5
- Langage
- Python
- Licence
- MIT
- Création
- 2023
- Sujets
- artificial-intelligenceattention-mechanismsdeep-learningmixture-of-expertsrouted-attention
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de lucidrains
Les 175 dépôts de lucidrains- lucidrains/vit-pytorchÉtoiles : 25 555PythonLTS
- lucidrains/DALLE2-pytorchÉtoiles : 11 306PythonStable
- lucidrains/denoising-diffusion-pytorchÉtoiles : 10 723PythonStable
- lucidrains/imagen-pytorchÉtoiles : 8 430PythonStable
- lucidrains/PaLM-rlhf-pytorchÉtoiles : 7 862PythonStable
- lucidrains/x-transformersÉtoiles : 5 962PythonStable
D’autres dépôts Python
Tous les dépôts Python- bagusprts/OutlineWeldÉtoiles : 121PythonPrototype
- CRFXN5C/mcd-mcp-kitÉtoiles : 121PythonPrototype
- thomasunise/argusÉtoiles : 121PythonPrototype
- pydanny/pydanny-event-notesÉtoiles : 121PythonPrototype
- peterbe/django-mongokitÉtoiles : 121PythonPrototype
- andreisavu/zookeeper-monitoringÉtoiles : 121PythonPrototype