# microsoft/sarathi-serve

<https://repo.masters-masters.com/repos/microsoft/sarathi-serve>

[Accueil](https://repo.masters-masters.com/) › [microsoft](https://repo.masters-masters.com/owners/microsoft) › [sarathi-serve](https://repo.masters-masters.com/repos/microsoft/sarathi-serve)

microsoft/sarathi-serve, dépôt open source à 535 étoiles sur GitHub. Carte Alpha de RepoMasters. A low-latency & high-throughput serving engine for LLMs

| Champ | Valeur |
| --- | --- |
| Propriétaire | [microsoft](https://repo.masters-masters.com/owners/microsoft) |
| Étoiles | 535 |
| Forks | 68 |
| Langage | [Python](https://repo.masters-masters.com/languages/python) |
| Licence | Apache-2.0 |
| Création | 2023 |
| Sujets | llama, llm-inference, pytorch, transformer |
| Rang | [Alpha (250 à 699 ★)](https://repo.masters-masters.com/ranks/b_movie) |
| Voir sur GitHub | [microsoft/sarathi-serve](https://github.com/microsoft/sarathi-serve) |

## Fiche du dépôt

A low-latency & high-throughput serving engine for LLMs

Rang des dépôts qui ont 250 à 699 ★ sur GitHub. Probabilité publiée par carte tirée : 20 %. Rareté : Peu commune.

## Autres dépôts de microsoft

- [microsoft/vscode · ★ 194 514 · TypeScript · LTS](https://repo.masters-masters.com/repos/microsoft/vscode)
- [microsoft/markitdown · ★ 193 634 · Python · LTS](https://repo.masters-masters.com/repos/microsoft/markitdown)
- [microsoft/PowerToys · ★ 140 457 · C · LTS](https://repo.masters-masters.com/repos/microsoft/PowerToys)
- [microsoft/generative-ai-for-beginners · ★ 122 874 · Jupyter Notebook · LTS](https://repo.masters-masters.com/repos/microsoft/generative-ai-for-beginners)
- [microsoft/TypeScript · ★ 111 723 · Go · LTS](https://repo.masters-masters.com/repos/microsoft/TypeScript)
- [microsoft/terminal · ★ 105 315 · C++ · LTS](https://repo.masters-masters.com/repos/microsoft/terminal)

## D’autres dépôts Python

- [InternLM/WildClawBench · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/InternLM/WildClawBench)
- [stormzhang/token-tracker · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/stormzhang/token-tracker)
- [davidondrej/jailbreak-autoresearch · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/davidondrej/jailbreak-autoresearch)
- [paulnasca/paulstretch\_python · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/paulnasca/paulstretch_python)
- [cgoldberg/ystockquote · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/cgoldberg/ystockquote)
- [EiNSTeiN-/decompiler · ★ 535 · Python · Alpha](https://repo.masters-masters.com/repos/EiNSTeiN-/decompiler)

---
Données : GitHub · Illustration dessinée par RepoMasters à partir de l’identifiant du dépôt et de la couleur de son langage.