{"id":13935588,"url":"https://github.com/deeppavlov/translation-enru","last_synced_at":"2026-05-18T05:08:30.182Z","repository":{"id":83451151,"uuid":"440165557","full_name":"deeppavlov/translation-enru","owner":"deeppavlov","description":null,"archived":false,"fork":false,"pushed_at":"2021-12-29T17:57:08.000Z","size":805,"stargazers_count":1,"open_issues_count":0,"forks_count":0,"subscribers_count":2,"default_branch":"master","last_synced_at":"2025-01-05T19:21:56.778Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":null,"language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/deeppavlov.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null}},"created_at":"2021-12-20T12:39:16.000Z","updated_at":"2022-09-13T18:28:37.000Z","dependencies_parsed_at":"2024-01-21T08:15:09.725Z","dependency_job_id":null,"html_url":"https://github.com/deeppavlov/translation-enru","commit_stats":null,"previous_names":["deepmipt/translation-enru"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/deeppavlov%2Ftranslation-enru","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/deeppavlov%2Ftranslation-enru/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/deeppavlov%2Ftranslation-enru/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/deeppavlov%2Ftranslation-enru/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/deeppavlov","download_url":"https://codeload.github.com/deeppavlov/translation-enru/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":240392549,"owners_count":19794112,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2024-08-07T23:01:54.697Z","updated_at":"2026-05-18T05:08:25.151Z","avatar_url":"https://github.com/deeppavlov.png","language":"Python","funding_links":[],"categories":["Python"],"sub_categories":[],"readme":"# Модуль общедоменного перевода русский-английский, английский-русский\n\nМодуль общедоменного перевода представляет собой две модели, предобученные на выборке параллельных текстов датасета [OPUS](https://opus.nlpl.eu/). Модели тестировались на тестовой выборке русского и английского языков соревнования [The Tatoeba Translation Challenge (v2021-08-07)](https://github.com/Helsinki-NLP/Tatoeba-Challenge/blob/master/README-v2021-08-07.md).\n\n## Установка\n\n- Необходимо установить виртуальное окружение Python не ниже 3.7\n- Для установка зависимостей необходимо запустить `pip install -r requirements.txt`\n- Для запуска моделей необходимо использовать GPU, таким образом префиксом команд будет `CUDA_VISIBLE_DEVICES=i`, где `i` — индекс свободной GPU.\n\n## Обучение модели с нуля\n\n- Запуск скрипта `tatoeba_train_enru.sh` или `tatoeba_train_ruen.sh` вызовет режим обучения в направлении английский-русский или русский-английский соответсвенно со следующими параметрами:\n  - Количество эпох: 10\n  - Максимальная длина входной последовательности: 192\n  - Максимальная длина выходной последовательности: 192\n- Перед началом обучения инициализируется со случайными весами и сохраняется в папку `base_enru` или `base_ruen` базовая модель для соответствующего направления\n- Также перед началом обучения скачиваются данные для обучения\n- Для ускорения обучения возможно использование нескольких GPU\n- Обученная модель и информация об обучении по умолчанию сохраняются в папку `output_enru` или `output_ruen` в зависимости от направления перевода\n\n## Оценка качества\n\n- Для того, чтобы получить оценки качества модели в направлении английский-русский необходимо запустить `run_evaluate_enru.sh`. В результате работы скрипта в папке `output_enru` будет представлена статистика качества перевода на тестовой выборке датасета Tatoeba для соревнования The Tatoeba Translation Challenge (v2021-08-07)\n- Аналогично для пары русский-английский `run_evaluate_ruen.sh`\n\n## Генерация\n\nДля генерации переводов необходимо использовать скрипт `run_predict.py`. Скрипт генерирует последовательности на целевом языке на основе `txt` файла с текстовыми последовательностями на исходном языке. Скрипт использует следующие параметры:\n\n- `direction` — направление перевода, либо `enru`, либо `ruen`\n- `sentences_path` — путь к файлу с последовательностями на исходном языке (в формате один пример для перевода на каждой строке)\n- `output_file` — путь к файлу, в котором будут сохранены переводы модели\n- `model` — путь к папке с моделью или название модели на HuggingFace Hub\n- `num_return_sequences` — количество генерируемых гипотез для каждого примера, при значении \u003e `1` варианты перевода разделяются знаком табуляции\n- `num_beams` — количество лучей при генерации лучевым поиском, при значении `1` используется жадный алгоритм\n- `batch_size` — размер батча, используемого при генерации гипотез\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdeeppavlov%2Ftranslation-enru","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fdeeppavlov%2Ftranslation-enru","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdeeppavlov%2Ftranslation-enru/lists"}