{"id":18919039,"url":"https://github.com/alek-dr/fastapi-trironserver-example","last_synced_at":"2026-05-14T22:48:20.060Z","repository":{"id":173753591,"uuid":"562144998","full_name":"Alek-dr/FastAPI-TrironServer-example","owner":"Alek-dr","description":null,"archived":false,"fork":false,"pushed_at":"2022-11-10T10:31:10.000Z","size":99,"stargazers_count":2,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"master","last_synced_at":"2024-12-31T16:14:16.783Z","etag":null,"topics":["fastapi","machine-learning","triton-inference-server"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Alek-dr.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-11-05T12:58:01.000Z","updated_at":"2022-11-28T09:44:06.000Z","dependencies_parsed_at":"2023-09-29T02:05:55.766Z","dependency_job_id":null,"html_url":"https://github.com/Alek-dr/FastAPI-TrironServer-example","commit_stats":null,"previous_names":["alek-dr/fastapi-trironserver-example"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Alek-dr%2FFastAPI-TrironServer-example","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Alek-dr%2FFastAPI-TrironServer-example/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Alek-dr%2FFastAPI-TrironServer-example/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Alek-dr%2FFastAPI-TrironServer-example/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Alek-dr","download_url":"https://codeload.github.com/Alek-dr/FastAPI-TrironServer-example/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":239914940,"owners_count":19717760,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["fastapi","machine-learning","triton-inference-server"],"created_at":"2024-11-08T10:34:44.144Z","updated_at":"2025-10-24T00:21:59.343Z","avatar_url":"https://github.com/Alek-dr.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"### Примаер сервиса классификации с FastAPI и Triton Inference Server\n\n#### Суть примера\nВ данном репозитоии представлен сервис, где модели и сервис с бизнес-логикой разнесены по разным сервисам.\nПреимущества такого подхода:\n* Модели можно обновлять на лету, не останавливая сервис\n* Физически, сервис с моделями может находиться на другой машине, имещюей гораздо больше вычислительных ресурсов\n* Triton Inference Server берет на себя работу по балансированию нагрузки\n* Основной сервис никак не зависит от моделей и не нуждается в множестве зависимостей, необходимых для работы модели\n\n#### Данные и модели\nВ скрипте train_model.py генерируются и обучаются три модели: pytorch, sklearn и xgboost. Модели \nрешают простую задачу классификации на данных, представленных на изображении ниже\n![alt text](myplot.png)\n\nОбученные модели не используются в приложении, а деплоятся в отдельном сервисе - Triton Inference Server.\nПодробнее см. по [ссылке](https://github.com/triton-inference-server/server). Тритон из коробки поддерживаем множество фреймворков,\nоднако, если требуется задеплоить модели LightGBM, XGBoost или Scikit-Learn, придется проделать дополнительные шаги.\nВсе эти шаги описаны [здесь](https://github.com/triton-inference-server/fil_backend). Образ, который получится после выполнения ```./build```\nбудет поддерживать FIL backend и позволяет деплоить вышеперечисленные моедли. \n\nЕсли обучить модели заново, то для sklearn модели необходима дополнительная конвертация\n```\n./convert_sklearn.sh models/rf/1/model.pkl \n```\n\n#### Шаги для запуска репозитория:\n* Установить Docker. Инструкция на [оф.сайте](https://docs.docker.com/engine/install/ubuntu/)\n* Установить nvidia-docker2. [Инстуркция по установке](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html)\n* Скачать FIL-backend. Следовать инструкции в разделе Installation на [странице](https://github.com/triton-inference-server/fil_backend).\nПосле выполнения (довольно долгого), проверить, что появился образ triton_fil. Сделать это можно командой ```docker images```.\n* В корневой директории этого проекта выполнить ```docker-compose build```. Эта команда выполнит сборку всех описанных сервисов в файле docker-compose.yml.\n* Если всё успешно, можем запускать сервис ```docker-compose up -d```\n\nЗАМЕЧАНИЕ!!!\nЕсли требуется задеплоить, например pytorch модель, шаги с FIL-backend выполнять не нужно. Достаточно использовать образ tritonserver.\nСкачать  ```docker pull nvcr.io/nvidia/tritonserver:22.09-py3``` и в дальнейшем использовать вместо образа triton_fil.\n\nЛоги каждого сервиса можно посмотреть выполнив ```docker-compose logs triton``` или ```docker-compose logs app```.\nЕсли модели успешно поднялись, в логе triton сервиса должно быть сообщение, что модели запущены:  \n![alt text](triton_log.png)\n\n#### Тестирование моделей\nПо адресу http://0.0.0.0:8000/docs можно зайти и протестировать работу моделей.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Falek-dr%2Ffastapi-trironserver-example","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Falek-dr%2Ffastapi-trironserver-example","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Falek-dr%2Ffastapi-trironserver-example/lists"}