PrototypeCommune
IBM/ModuleFormer
ModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.
- Propriétaire
- IBM (organisation)
- Étoiles
- Étoiles : 223
- Forks
- Forks : 11
- Langage
- Python
- Licence
- Apache-2.0
- Création
- 2023
- Sujets
- lmmoe
- Rang
- Prototype (100 à 249 ★) Ce que veut dire ce rang
Autres dépôts de IBM
Les 172 dépôts de IBM- IBM/saramaÉtoiles : 12 525GoStable
- IBM/plexÉtoiles : 11 736CSSStable
- IBM/mcp-context-forgeÉtoiles : 4 733PythonRC
- IBM/AssetOpsBenchÉtoiles : 2 409PythonRC
- IBM/css-gridishÉtoiles : 2 216CSSRC
- IBM/fp-goÉtoiles : 2 034GoRC
D’autres dépôts Python
Tous les dépôts Python- moskoo/xxg-portrait-rebuild-lightÉtoiles : 223PythonPrototype
- M1n-n9/academic-figures-drawerÉtoiles : 223PythonPrototype
- LiQiiiii/JevaÉtoiles : 223PythonPrototype
- qgriffith-zz/OpenEatsÉtoiles : 223PythonPrototype
- aewallin/openvoronoiÉtoiles : 223PythonPrototype
- janosgyerik/bashonelinersÉtoiles : 223PythonPrototype