https://github.com/magomedcoder/gen
Gen - это платформа для работы с LLM, которая объединяет сервер, клиентское приложение и сервисы выполнения инструментов в единую систему
https://github.com/magomedcoder/gen
ai aichat anrdoid chat-ai gen go golang grpc ios linux llm llmchat macos mcp mcp-client mcp-server po proto windows
Last synced: 7 days ago
JSON representation
Gen - это платформа для работы с LLM, которая объединяет сервер, клиентское приложение и сервисы выполнения инструментов в единую систему
- Host: GitHub
- URL: https://github.com/magomedcoder/gen
- Owner: magomedcoder
- License: apache-2.0
- Created: 2026-05-07T09:33:45.000Z (about 2 months ago)
- Default Branch: dev
- Last Pushed: 2026-06-05T19:35:53.000Z (25 days ago)
- Last Synced: 2026-06-05T21:12:24.419Z (25 days ago)
- Topics: ai, aichat, anrdoid, chat-ai, gen, go, golang, grpc, ios, linux, llm, llmchat, macos, mcp, mcp-client, mcp-server, po, proto, windows
- Language: Dart
- Homepage:
- Size: 1.65 MB
- Stars: 0
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Gen
Сервис запуска и взаимодействия с LLM.
## Возможности
- Управление сессиями, историей и параметрами диалогов
- Агентные сценарии: tool-loop, вызов инструментов, повторный инференс
- Подключение MCP-серверов и каталог внешних инструментов
- RAG: загрузка документов, поиск по контексту, rerank
- Инференс LLM на CPU или GPU, стриминг ответов
- Несколько узлов инференса с разными моделями и железом
- Подключение как Go-библиотеки в свой бэкенд ([docs/library.md](docs/library.md))
## Документация
- [docs/server.md](docs/server.md) - установка gen-server: основной сервис для чатов, MCP и RAG
- [docs/llm-runner.md](docs/llm-runner.md) - установка gen-runner: отдельный процесс, который запускает модель на CPU или GPU
- [docs/models-help.md](docs/models-help.md) - как выбрать модель и оценить, хватит ли памяти видеокарты
- [docs/library.md](docs/library.md) - как подключить gen к своему Go-проекту вместо отдельного сервера
---
## Репозитории
- **[gen-app](https://github.com/magomedcoder/gen-app)** - клиентское приложение для Linux, Android, iOS, macOS и Windows
- **[gen-mcp-servers](https://github.com/magomedcoder/gen-mcp-servers)** - набор MCP-серверов для внешних инструментов, максимально адаптированных под gen
---
## Использование gen как библиотеки
Для своего бэкенда на Go можно подключить модуль `github.com/magomedcoder/gen` и встроить его прямо в свой проект - без отдельного gen-server.
Gen-runner для инференса нужно запускать отдельно.
Подробно: **[docs/library.md](docs/library.md)**.