PrototypeCommune
twistedcubic/attention-rank-collapse
[ICML 2021 Oral] We show pure attention suffers rank collapse, and how different mechanisms combat it.
- Propriétaire
- twistedcubic (compte personnel)
- Étoiles
- Étoiles : 173
- Forks
- Forks : 11
- Langage
- Jupyter Notebook
- Licence
- Apache-2.0
- Création
- 2021
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
D’autres dépôts Jupyter Notebook
Tous les dépôts Jupyter Notebook- VizuaraAILabs/DeepSeek-From-ScratchÉtoiles : 173Jupyter NotebookPrototype
- Brandon-Collins7/sketchvlmÉtoiles : 173Jupyter NotebookPrototype
- wow-world-model/wow-world-modelÉtoiles : 173Jupyter NotebookPrototype
- ContinuumIO/numbapro-examplesÉtoiles : 173Jupyter NotebookPrototype
- microsoft/Cognitive-Vision-PythonÉtoiles : 173Jupyter NotebookPrototype
- eleanorlutz/AnimatedPythonPatternsÉtoiles : 173Jupyter NotebookPrototype