{"id":18045135,"url":"https://github.com/sergree/dolbonet","last_synced_at":"2025-07-29T06:34:27.458Z","repository":{"id":45724051,"uuid":"199264737","full_name":"sergree/DolboNet","owner":"sergree","description":"🤪 Русскоязычный чат-бот для Discord на архитектуре Transformer","archived":false,"fork":false,"pushed_at":"2023-01-14T09:47:07.000Z","size":520,"stargazers_count":60,"open_issues_count":6,"forks_count":17,"subscribers_count":7,"default_branch":"master","last_synced_at":"2025-04-10T01:44:55.469Z","etag":null,"topics":["bot","chatbot","deep-learning","discord","keras","python","russian","tensorflow","tensorflow2","transformer"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"gpl-3.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/sergree.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":".github/FUNDING.yml","license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null},"funding":{"custom":"https://boosty.to/sergree"}},"created_at":"2019-07-28T09:00:18.000Z","updated_at":"2024-12-21T19:48:52.000Z","dependencies_parsed_at":"2023-02-09T19:05:15.814Z","dependency_job_id":null,"html_url":"https://github.com/sergree/DolboNet","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/sergree/DolboNet","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/sergree%2FDolboNet","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/sergree%2FDolboNet/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/sergree%2FDolboNet/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/sergree%2FDolboNet/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/sergree","download_url":"https://codeload.github.com/sergree/DolboNet/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/sergree%2FDolboNet/sbom","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":267639581,"owners_count":24119783,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-07-29T02:00:12.549Z","response_time":2574,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["bot","chatbot","deep-learning","discord","keras","python","russian","tensorflow","tensorflow2","transformer"],"created_at":"2024-10-30T18:12:11.300Z","updated_at":"2025-07-29T06:34:27.422Z","avatar_url":"https://github.com/sergree.png","language":"Python","funding_links":["https://boosty.to/sergree"],"categories":[],"sub_categories":[],"readme":"###### Dear English speaking users, unfortunately this project is only in Russian at the moment. Sorry for the inconvenience.\n\n# DolboNet\n![Привет!](images/re2ypiiv5rg7.png)\n\nМы рады представить Вам нашу разработку - **Русскоязычный чат-бот для [Discord] на архитектуре [Transformer]**. \n\nНейронная сеть обучена на **36M+** публично доступных сообщениях [наиболее популярных русскоязычных серверов **Discord**][PopularServers] в течение одной эпохи *(5 суток на **GTX 1080**)*. Обучение проходило по принципу: ***какое сообщение вероятнее всего будет отправлено после 10-ти предыдущих*** на уровне [**character trigram embeddings**][N-grams]. \n\n![Дота?](images/0l1k6xm0e55j.png)\n\nДанный бот **не использует** готовую базу данных сообщений, а генерирует новые уникальные сообщения, реализуя концепцию **seq2seq на архитектуре [Transformer]**. Основа сети взята из [этого][Tutorial] руководства по **[TensorFlow 2]**.\n\n![Дурачок](images/jbz7uc83s0j1.png)\n\n\u003e Эта модель была актуальна в 2019 году, но довольно быстро устарела. Вы можете найти что-то более качественное и современное, проследовав [сюда][SOTA].\n\n**Поехали!** 🚀\n\n# Установка\n\n![Илон](images/k5e1vy36y49i.png)\n\n## Windows 10 64-bit\nПротестировано на **2 x 2.6 ГГц CPU + 4 ГБ RAM**.\n- Установите [**Python 3.8 64-bit**][Python]\n- При установке [**Python 3.8 64-bit**][Python] должны стоять галочки `Install launcher for all users (recommended)` и `Add Python 3.8 to PATH`\n- Установите **[Git]**\n- Установите [**Visual C++ Redistributable**][Vcredist] - необходим для `scipy`\n- Откройте **Git Bash**, щелкнув правой кнопкой мыши по пустому месту внутри папки *(например, **Мои документы**)* и выбрав `Git Bash Here`\n- Скачайте репозиторий: `git clone https://github.com/sergree/DolboNet`\n- Перейдите в папку: `cd DolboNet`\n- Выполните `pip install -r requirements.txt` в появившемся окне\n- [Получите][DiscordDevelopers] токен вашего бота - [инструкция][HowToGetToken]\n- Отредактируйте файл конфигурации `config.py`, вставив токен бота в `token = \"...\"`\n- ⚠️ Включите **Message Content Intent** в настройках аккаунта бота\n![Message Content Intent](images/bx8pwm8j2njf.png)\n- И наконец, запустите бота: `python bot.py`\n- *Бот будет загружаться 5-10 минут*\n\nБот заработает **только** на **64-разрядной** версии **Windows** и **Python**.\n\n## Ubuntu 20.04 LTS\nПротестировано на **2 x 2.6 ГГц CPU + 2 ГБ RAM**.\n- Скачайте репозиторий: `git clone https://github.com/sergree/DolboNet`\n- Перейдите в папку: `cd DolboNet`\n- Если ещё не установлен `pip3`, то установите его: `sudo apt install python3-pip`\n- Установите зависимости: `pip3 install -r requirements.txt`\n- [Получите][DiscordDevelopers] токен вашего бота - [инструкция][HowToGetToken]\n- Отредактируйте файл конфигурации: `nano config.py`, вставив токен бота в `token = \"...\"`\n- ⚠️ Включите **Message Content Intent** в настройках аккаунта бота\n![Message Content Intent](images/bx8pwm8j2njf.png)\n- И наконец, запустите бота: `python3 bot.py`\n- *Бот будет загружаться 5-10 минут*\n\n## Поддержка GPU\nЕсли на машине присутствует видеокарта **NVIDIA**, то Вы можете запустить бота используя **CUDA**, что даст прирост в скорости работы.\n- Удалите `tensorflow`, если успели установить зависимости: `pip uninstall tensorflow`\n- Установите **CUDA® Toolkit** и **cuDNN SDK** - [инструкция][HowToGPU]\n- Установите `pip install tensorflow-gpu\u003e=2.3.1` или `pip install -r requirements_gpu.txt`\n\n![Хз](images/hywpq6yb16no.png)\n\n⚠️ Не советуем настраивать **поддержку GPU**, если Вы делаете это впервые и у Вас нет желания потратить на процесс установки весь вечер ⚠️\n\n# Дополнительные настройки\nВ файле `config.py` можно отредактировать некоторые параметры, чтобы изменить характер и поведение бота:\n- `temperature` - [температура семплирования][Temperature] - регулирует характер и разнообразие генерируемого текста\n\n| Значение | Описание                       |\n|----------|--------------------------------|\n| 0.01     | Я знаю только слово **Привет** |\n| 0.3      | Попугай-повторюшка             |\n| 0.65     | По-умолчанию                   |\n| 1.3      | Пьяный поэт                    |\n| 3        | Уснул на клавиатуре            |\n\nДля удобства экспериментирования присутствует команда `!temp значение`, которую можно отправлять в **[Discord]**, чтобы редактировать это значение *на ходу*. Команда работает только у пользователей с привилегией **Администратор**.\n\n- `mention_prob` - вероятность того, что бот ответит на сообщение, в котором его упомянули. Может принимать значения от `0` до `1`. По умолчанию: `1`, т.е. **100%**\n- `no_mention_prob` - вероятность того, что бот ответит на сообщение, в котором его не упоминали. Может принимать значения от `0` до `1`. По умолчанию: `0.2`, т.е. **20%**\n- `command_temperature_change` - команда изменения температуры, если не нравится `!temp значение` 😛\n- `use_delay` - эмуляция человеческой скорости печати на клавиатуре, по-умолчанию `False`, т.к. на **CPU** процесс генерации и так не быстрый\n- `discord_game_name` - статус бота в **[Discord]**\n\nОстальные параметры лучше не редактировать.\n\n# Кофе\n![Кофе](images/khrxc9atjbni.png)\n\n☕ Если Вы заинтересованы в развитии проекта, Вы можете [купить мне кофе][BMC]. ☕\n\n**Спасибо!** 🙏\n\n# FAQ\n\n\u003e _У меня половина сервера таких долбонетов, зачем нужен ещё один?_\n\n- Он может помогать в модерации:\n\n![Плохо](images/b9m7plcblp71.png)\n\n- Иногда даже очень хорошо:\n\n![ПоФорме](images/e096csal1tbl.png)\n\n- Любит аниме:\n\n![Anime](images/dz749dknry6v.png)\n\n- Делится свежими новостями:\n\n![News](images/zt9ylu1hceqq.png)\n\n- А ещё он не даст заскучать:\n\n![Pings](images/2iw73365ipkj.png)\n\n- Ну и, конечно же, у него отличный вкус:\n\n![Blind](images/ty7546sn8nrx.png)\n\nА если серьёзно, причина только [одна][Tweet].\n\n\u003e _Хостите ли вы этого бота? Могу ли я обойтись публичной версией? Дайте ссылку!_\n\n\u003c!--- Мы не хостим публичную версию бота, потому что процесс генерации сообщения [трансформером][Transformer] не дешевый с точки зрения ресурсов. При скорости генерации **~0.1 секунды на токен**, если бы этот бот находился на 50-ти публичных **Discord** серверах, то он бы работал *очень медленно*. ---\u003e\n~~[Ссылка][BotInvite]. Бот доступен не всегда и иногда отвечает медленно.~~\nМы не хостим публичную версию бота. Чтобы он появился на Вашем **[Discord]** сервере, его необходимо [установить][Setup].\n\n\u003e _На каких серверах этот бот уже есть?_\n\nМы знаем, что бот уже хостится здесь:\n- **[! REPUBLIC OF PEPESTAN \u0026 ITS CITIZENS][Server1]**\n- **[FUNCLUB][Server4]**\n- **[LeviaFun][Server3]**\n- **[! Molecular Dream World ☘][Server2]**\n\n[Напишите нам], чтобы попасть в этот список.\n\n\u003e _Что-то он в основном бессвязный бред отправляет._ 🤔\n\n![Бред](images/xhsnyv7dzi3v.png)\n\nДа, есть такое. Но иногда получается забавно.\n\n\u003e _Это же бесполезная фигня, вы понимаете?_\n\nКонечно. Как и [многое другое в нашем современном мире][Trends].\n\n\u003e _Бот отправил мне оскорбление или угрозу! Беспредел!_ 😠\n\n![Юра](images/0rulgz9m75fc.png)\n\nНейронная сеть бота лишь отражает публичные данные, на которых проходило обучение. Возможно, это тревожный звоночек о том, [что стало с нашим обществом][Rebyata]. В любом случае, мы не хотели.\n\n\u003e _Что насчёт английского языка?_\n\n![Транслит](images/t6co1mos6p6p.png)\n\nНа данном этапе мы решили не расходовать ёмкость сети на латинские триграммы. Латиница автоматически транслитерируется в кириллицу с помощью **[opendatakosovo/cyrillic-transliteration]**. *Мы тестировали много подобных библиотек, [эта][opendatakosovo/cyrillic-transliteration] - самая быстрая.*\n\n\u003e _Почему триграммы?_\n\nПотому-что [великий и могучий]. Идея, конечно же, не наша, а взята из [этой книги][Book].\n\n\u003e _Может было бы лучше использовать [стемминг]?_\n\nВ данном кейсе нет. Так как лдюи в чатах пиушт с очепятками, а инагда с ашебками. A inogda translitom, ile fse vmesti. 🤪\n\n*Другое дело википедию или новостные ленты разбирать.*\n\n\u003e _Он и эмодзи умеет отправлять?_\n\n![Emoji](images/lidikqfnw71o.png)\n\nДа. Только пока рандомно. *Всем кастомным эмодзи присвоен единый токен в словаре.* В будущем есть планы привязать **[CNN]** с классификатором.\n\n\u003e _Вы просто скопировали гайд для **[TensorFlow 2]**, что вы сделали сами?_\n\n- Алгоритм токенизации русского текста и разбора сущностей **[Discord]**: упоминания пользователей / ролей / каналов, ссылки, эмодзи и т.д.\n- Перелопатили уйму доступных реализаций **[Transformer]**\n- Нашли [подходящую реализацию][Tutorial] и связали её с нашим токенизатором и **[Discord API]**\n- Спарсили **36M+** публичных сообщений русскоязычного **[Discord]** комьюнити и обучили [трансформер][Transformer] на нём\n- Напечатали *этот текст*\n\n\u003e _А как же **[LSTM]**?_\n\nМы просто оставим [это здесь][TransformerExplained].\n\n\u003e _Что дальше?_\n\n- Больше парсить, дольше обучать\n- **[CNN]** для классификации эмодзи без учителя\n- Пробуем **[Universal Transformer]**\n- И **[Transformer XL]**\n- Если не закончится [кофе][BMC]\n\n![Пошла](images/qb8hwuno3q4l.png)\n\n🤖\n\n[Discord]: https://discordapp.com/\n[DiscordDevelopers]: https://discordapp.com/developers/applications/\n[Tutorial]: https://github.com/tensorflow/examples/blob/master/community/en/transformer_chatbot.ipynb\n[TensorFlow 2]: https://www.tensorflow.org\n[HowToGetToken]: https://www.writebots.com/discord-bot-token/\n[HowToGPU]: https://www.tensorflow.org/install/gpu#software_requirements\n[Transformer]: https://arxiv.org/abs/1706.03762\n[PopularServers]: https://discord-server.com/?language=ru\u0026page=1\u0026rowsOnPage=50\u0026sort=count_desc\n[N-grams]: https://ru.wikipedia.org/wiki/N-%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0\n[Python]: https://www.python.org/ftp/python/3.8.6/python-3.8.6-amd64.exe\n[Git]: https://gitforwindows.org/\n[Vcredist]: https://www.microsoft.com/en-us/download/details.aspx?id=48145\n[BMC]: https://boosty.to/sergree\n[opendatakosovo/cyrillic-transliteration]: https://github.com/opendatakosovo/cyrillic-transliteration\n[Великий и могучий]: https://ru.wikipedia.org/wiki/%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9_%D1%8F%D0%B7%D1%8B%D0%BA\n[стемминг]: https://ru.wikipedia.org/wiki/%D0%A1%D1%82%D0%B5%D0%BC%D0%BC%D0%B8%D0%BD%D0%B3\n[Book]: https://www.piter.com/product/glubokoe-obuchenie\n[Rebyata]: http://lurkmore.to/%D0%91%D1%8B%D0%B4%D0%BB%D0%BE\n[CNN]: https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C\n[Discord API]: https://github.com/Rapptz/discord.py\n[Tweet]: https://twitter.com/elonmusk/status/1095574487104315392\n[Temperature]: https://cs.stackexchange.com/questions/79241/what-is-temperature-in-lstm-and-neural-networks-generally\n[Trends]: http://lurkmore.to/%D0%9C%D0%BE%D0%B4%D0%B0\n[LSTM]: https://ru.wikipedia.org/wiki/%D0%94%D0%BE%D0%BB%D0%B3%D0%B0%D1%8F_%D0%BA%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D1%81%D1%80%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D1%8C\n[TransformerExplained]: https://habr.com/ru/post/341240/\n[Universal Transformer]: https://arxiv.org/abs/1807.03819\n[Transformer XL]: https://arxiv.org/abs/1901.02860\n[Git LFS]: https://git-lfs.github.com/\n[Server1]: https://discordapp.com/invite/TVw8NKv\n[Server2]: https://discordapp.com/invite/HmK6xsS\n[Server3]: https://discordapp.com/invite/XUJq5WR\n[Server4]: https://discordapp.com/invite/mUsxsST\n[BotInvite]: https://discordapp.com/api/oauth2/authorize?client_id=584636018125176834\u0026permissions=3072\u0026scope=bot\n[Setup]: https://github.com/sergree/DolboNet#%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0\n[Напишите нам]: mailto:sergree@vk.com\n[SOTA]: https://paperswithcode.com/sota\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fsergree%2Fdolbonet","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fsergree%2Fdolbonet","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fsergree%2Fdolbonet/lists"}