{"id":17402380,"url":"https://github.com/atnartur/celery-yandex-serverless","last_synced_at":"2025-04-15T18:26:00.541Z","repository":{"id":157512125,"uuid":"620943122","full_name":"atnartur/celery-yandex-serverless","owner":"atnartur","description":"Package for starting Celery worker inside Yandex Cloud Serverless Container","archived":false,"fork":false,"pushed_at":"2024-04-01T15:15:37.000Z","size":32,"stargazers_count":17,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"master","last_synced_at":"2025-03-28T23:33:03.431Z","etag":null,"topics":["boto3","celery","django","serverless","yandex-cloud"],"latest_commit_sha":null,"homepage":"https://pypi.org/project/celery-yandex-serverless/","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/atnartur.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null}},"created_at":"2023-03-29T17:16:40.000Z","updated_at":"2024-05-01T08:09:00.000Z","dependencies_parsed_at":"2024-04-01T16:43:53.780Z","dependency_job_id":null,"html_url":"https://github.com/atnartur/celery-yandex-serverless","commit_stats":null,"previous_names":[],"tags_count":5,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/atnartur%2Fcelery-yandex-serverless","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/atnartur%2Fcelery-yandex-serverless/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/atnartur%2Fcelery-yandex-serverless/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/atnartur%2Fcelery-yandex-serverless/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/atnartur","download_url":"https://codeload.github.com/atnartur/celery-yandex-serverless/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":249127609,"owners_count":21217006,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["boto3","celery","django","serverless","yandex-cloud"],"created_at":"2024-10-16T17:26:44.186Z","updated_at":"2025-04-15T18:26:00.519Z","avatar_url":"https://github.com/atnartur.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Celery Yandex Serverless\n\nМодуль, позволяющий запустить celery-worker внутри Yandex Cloud Serverless Container.\n\n**Классический подход с отдельно запущенным воркером**\n\n1. Бекенд отправляет задачу в очередь.\n2. Отдельный процесс воркера забирает задачу из очереди и выполняет ее.\n\n**Serverless-подход**\n\nВ Serverless подходе предполагается, что нет никаких запущенных постоянно процессов приложения. Эти процессы запускаются\nлибо по запросу пользователя, либо по различным тригерам облаком. \n\nМодуль `celery-yandex-serverless` помогает запустить воркер следующим образом:\n1. Бекенд отправляет задачу в очередь\n2. После попадания задачи в очередь срабатывает триггер, который делает http-запрос serverless-контейнеру.\n3. Serverless-контейнер запускает код задачи, который ранее выполнялся в воркере.\n\n## Использование\n\n### Подключение Celery к Yandex Message Queue\n\n1. Перейдите на страницу каталога в Яндекс.Облаке\n2. Зайдите в раздел **Сервисные аккаунты**\n3. Посмотрите название сервисного аккаунта в каталоге Яндекс.Облака\n4. Сгенерируйте `ACCESS_KEY` и `SECRET_KEY` с помощью команды \n(замените `SERVICE_ACCOUNT_NAME` на название сервисного аккаунта):\n\n```bash\nyc iam access-key create --service-account-name SERVICE_ACCOUNT_NAME\n```\n\nКоманда вернет следующую информацию. Сохраните ее, она пригодится в будущем.\n\n```yml{5,6}\naccess_key:\n  id: aje...\n  service_account_id: aje...\n  created_at: \"2023-03-24T17:49:01.555836400Z\"\n  key_id: YCAJ... # \u003c- Это access key\nsecret: YCPM... # \u003c- Это secret key\n```\n\n### Настройка\nУкажите переменные окружения с использованием только что полученных данных:\n\n```\nAWS_ACCESS_KEY_ID=\"access key, скопированный выше\"\nAWS_SECRET_ACCESS_KEY=\"secret key, скопированный выше\"\nAWS_DEFAULT_REGION=\"ru-central1\"\nCELERY_BROKER_URL=sqs://message-queue.api.cloud.yandex.net:443\nCELERY_BROKER_IS_SECURE=True\n```\n\nВ файле `settings.py` укажите:\n\n```python\nCELERY_BROKER_URL = os.environ.get(\"CELERY_BROKER_URL\")\nCELERY_BROKER_TRANSPORT_OPTIONS = {\n    'is_secure': os.environ.get(\"CELERY_BROKER_IS_SECURE\", 'false').lower() == 'true'\n}\n```\n\nПосле этого отправьте celery-задачу, чтобы в Яндекс.Облаке появилась очередь.\n\n### Подключение модуля\n\n1. `pip install celery-yandex-serverless` - установите модуль\n2. В urls.py (`projectname` замените на название проекта):\n```python\nfrom django.urls import path\nfrom celery_yandex_serverless.django import worker_view_factory\n\nfrom projectname.celery import app\n\nurlpatterns = [\n    # другие адреса...\n    path(\"worker/\u003cstr:key\u003e/\", worker_view_factory(app)),\n]\n```\n\n3. Установите переменную окружения `CELERY_YANDEX_SERVERLESS_KEY` со случайным ключом. \nОн предотвратит нежелательные запуски воркеров по прямому обращению к URL.\n\n### Создание триггера в Яндекс.Облаке\n\nВ консольной команде ниже сделайте замены и выполните ее:\n- `YANDEX_MESSAGE_QUEUE_ARN` - ARN очереди (можно увидеть на странице очереди)\n- `SERVICE_ACCOUNT_NAME` - название сервисного аккаунта\n- `SERVERLESS_CONTAINER_NAME` - название serverless-контейнера\n- `CELERY_YANDEX_SERVERLESS_KEY` - ключ, созданный ранее\n\n```bash\nyc serverless trigger create message-queue \\\n  --name celery \\\n  --queue YANDEX_MESSAGE_QUEUE_ARN \\\n  --queue-service-account-name SERVICE_ACCOUNT_NAME \\\n  --invoke-container-name SERVERLESS_CONTAINER_NAME \\\n  --invoke-container-service-account-name SERVICE_ACCOUNT_NAME \\\n  --invoke-container-path /worker/CELERY_YANDEX_SERVERLESS_KEY \\\n  --batch-size 1 \\\n  --batch-cutoff 10s \n```\n\n### Включение логирования\n\nДобавьте в `settings.py`:\n```python\nLOGGING = {\n    \"version\": 1,\n    \"disable_existing_loggers\": False,\n    \"loggers\": {\n        \"celery_yandex_serverless.django\": {\n            \"level\": \"INFO\",\n        },\n    },\n}\n```\n\nУровни:\n- `INFO` - инфорация о начале и окончании обработки задачи\n- `DEBUG` - печать содержимого аргументов celery-таска\n\n## Статьи в Яндекс.Облаке\n- [Подключение Celery](https://cloud.yandex.ru/docs/message-queue/instruments/celery)\n- [Документация по созданию триггеров через yc](https://cloud.yandex.ru/docs/cli/cli-ref/managed-services/serverless/trigger/create/message-queue).\n- [Подробнее про работу триггера](https://cloud.yandex.ru/docs/serverless-containers/concepts/trigger/ymq-trigger).\n\n## Обновление\n\n1. `poetry version ...` - обновить версию\n2. закомитить изменения\n3. `git tag ...` - добавить тег с версией пакета\n4. `git push --tags` - запушить тег\n5. `poetry publish --build` - опубликовать пакет\n\n## Автор\n[Атнагулов Артур](https://atnartur.dev)\n\nЛицензия MIT.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fatnartur%2Fcelery-yandex-serverless","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fatnartur%2Fcelery-yandex-serverless","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fatnartur%2Fcelery-yandex-serverless/lists"}