# IBM/ModuleFormer

<https://repo.masters-masters.com/repos/IBM/ModuleFormer>

[Accueil](https://repo.masters-masters.com/) › [IBM](https://repo.masters-masters.com/owners/IBM) › [ModuleFormer](https://repo.masters-masters.com/repos/IBM/ModuleFormer)

IBM/ModuleFormer, dépôt open source à 223 étoiles sur GitHub. Carte Prototype de RepoMasters. ModuleFormer is a MoE-based architecture that includes two…

| Champ | Valeur |
| --- | --- |
| Propriétaire | [IBM](https://repo.masters-masters.com/owners/IBM) |
| Étoiles | 223 |
| Forks | 11 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Apache-2.0 |
| Création | 2023 |
| Sujets | lm, moe |
| Rang | [Prototype (100 à 249 ★)](https://repo.masters-masters.com/ranks/rush) |
| Voir sur GitHub | [IBM/ModuleFormer](https://github.com/IBM/ModuleFormer) |

## Fiche du dépôt

ModuleFormer is a MoE-based architecture that includes two different types of experts: stick-breaking attention heads and feedforward experts. We released a collection of ModuleFormer-based Language Models (MoLM) ranging in scale from 4 billion to 8 billion parameters.

Rang des dépôts qui ont 100 à 249 ★ sur GitHub. Probabilité publiée par carte tirée : 70 %. Rareté : Commune.

## Autres dépôts de IBM

- [IBM/sarama · ★ 12 525 · Go · Stable](https://repo.masters-masters.com/repos/IBM/sarama)
- [IBM/plex · ★ 11 736 · CSS · Stable](https://repo.masters-masters.com/repos/IBM/plex)
- [IBM/mcp-context-forge · ★ 4 733 · Python · RC](https://repo.masters-masters.com/repos/IBM/mcp-context-forge)
- [IBM/AssetOpsBench · ★ 2 409 · Python · RC](https://repo.masters-masters.com/repos/IBM/AssetOpsBench)
- [IBM/css-gridish · ★ 2 216 · CSS · RC](https://repo.masters-masters.com/repos/IBM/css-gridish)
- [IBM/fp-go · ★ 2 034 · Go · RC](https://repo.masters-masters.com/repos/IBM/fp-go)

## D’autres dépôts Python

- [moskoo/xxg-portrait-rebuild-light · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/moskoo/xxg-portrait-rebuild-light)
- [M1n-n9/academic-figures-drawer · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/M1n-n9/academic-figures-drawer)
- [LiQiiiii/Jeva · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/LiQiiiii/Jeva)
- [qgriffith-zz/OpenEats · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/qgriffith-zz/OpenEats)
- [aewallin/openvoronoi · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/aewallin/openvoronoi)
- [janosgyerik/bashoneliners · ★ 223 · Python · Prototype](https://repo.masters-masters.com/repos/janosgyerik/bashoneliners)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.