# lucidrains/mixture-of-attention

<https://repo.masters-masters.com/repos/lucidrains/mixture-of-attention>

[Accueil](https://repo.masters-masters.com/) › [lucidrains](https://repo.masters-masters.com/owners/lucidrains) › [mixture-of-attention](https://repo.masters-masters.com/repos/lucidrains/mixture-of-attention)

lucidrains/mixture-of-attention, dépôt open source à 121 étoiles sur GitHub. Carte Prototype de RepoMasters. Some personal experiments around routing tokens…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [lucidrains](https://repo.masters-masters.com/owners/lucidrains) |
| Étoiles | 121 |
| Forks | 5 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | MIT |
| Création | 2023 |
| Sujets | artificial-intelligence, attention-mechanisms, deep-learning, mixture-of-experts, routed-attention |
| Rang | [Prototype (100 à 249 ★)](https://repo.masters-masters.com/ranks/rush) |
| Voir sur GitHub | [lucidrains/mixture-of-attention](https://github.com/lucidrains/mixture-of-attention) |

## Fiche du dépôt

Some personal experiments around routing tokens to different autoregressive attention, akin to mixture-of-experts

Rang des dépôts qui ont 100 à 249 ★ sur GitHub. Probabilité publiée par carte tirée : 70 %. Rareté : Commune.

## Autres dépôts de lucidrains

- [lucidrains/vit-pytorch · ★ 25 555 · Python · LTS](https://repo.masters-masters.com/repos/lucidrains/vit-pytorch)
- [lucidrains/DALLE2-pytorch · ★ 11 306 · Python · Stable](https://repo.masters-masters.com/repos/lucidrains/DALLE2-pytorch)
- [lucidrains/denoising-diffusion-pytorch · ★ 10 723 · Python · Stable](https://repo.masters-masters.com/repos/lucidrains/denoising-diffusion-pytorch)
- [lucidrains/imagen-pytorch · ★ 8 430 · Python · Stable](https://repo.masters-masters.com/repos/lucidrains/imagen-pytorch)
- [lucidrains/PaLM-rlhf-pytorch · ★ 7 862 · Python · Stable](https://repo.masters-masters.com/repos/lucidrains/PaLM-rlhf-pytorch)
- [lucidrains/x-transformers · ★ 5 962 · Python · Stable](https://repo.masters-masters.com/repos/lucidrains/x-transformers)

## D’autres dépôts Python

- [bagusprts/OutlineWeld · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/bagusprts/OutlineWeld)
- [CRFXN5C/mcd-mcp-kit · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/CRFXN5C/mcd-mcp-kit)
- [thomasunise/argus · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/thomasunise/argus)
- [pydanny/pydanny-event-notes · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/pydanny/pydanny-event-notes)
- [peterbe/django-mongokit · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/peterbe/django-mongokit)
- [andreisavu/zookeeper-monitoring · ★ 121 · Python · Prototype](https://repo.masters-masters.com/repos/andreisavu/zookeeper-monitoring)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.