{"id":19763895,"url":"https://github.com/redboo/polkassembly-comment-parser","last_synced_at":"2026-06-09T18:31:15.246Z","repository":{"id":162376846,"uuid":"636943934","full_name":"redboo/polkassembly-comment-parser","owner":"redboo","description":"Парсер комментариев Polkassembly","archived":false,"fork":false,"pushed_at":"2023-06-01T19:14:47.000Z","size":39,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-02-28T10:36:38.637Z","etag":null,"topics":["parser","python","scraper"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"gpl-3.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/redboo.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":".github/FUNDING.yml","license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null},"funding":{"github":null,"patreon":null,"open_collective":null,"ko_fi":null,"tidelift":null,"community_bridge":null,"liberapay":null,"issuehunt":null,"otechie":null,"lfx_crowdfunding":null,"custom":["https://www.buymeacoffee.com/redboo"]}},"created_at":"2023-05-06T03:28:29.000Z","updated_at":"2023-05-06T04:09:39.000Z","dependencies_parsed_at":null,"dependency_job_id":"318c43d4-3f6a-4838-bbbd-f968e493dcf0","html_url":"https://github.com/redboo/polkassembly-comment-parser","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/redboo/polkassembly-comment-parser","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/redboo%2Fpolkassembly-comment-parser","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/redboo%2Fpolkassembly-comment-parser/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/redboo%2Fpolkassembly-comment-parser/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/redboo%2Fpolkassembly-comment-parser/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/redboo","download_url":"https://codeload.github.com/redboo/polkassembly-comment-parser/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/redboo%2Fpolkassembly-comment-parser/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":34121020,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-05-26T15:22:16.424Z","status":"online","status_checked_at":"2026-06-09T02:00:06.510Z","response_time":63,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["parser","python","scraper"],"created_at":"2024-11-12T04:11:29.831Z","updated_at":"2026-06-09T18:31:15.230Z","avatar_url":"https://github.com/redboo.png","language":"Python","funding_links":["https://www.buymeacoffee.com/redboo"],"categories":[],"sub_categories":[],"readme":"# Парсер комментариев Polkassembly\n\nДанный скрипт предназначен для автоматизации процесса сбора данных о комментариях с сайтов на платформе [Polkassembly](https://polkassembly.io/)\n\n## Установка\n\n1. Установите [Python 3](https://practicum.yandex.ru/blog/kak-ustanovit-python-na-kompyuter/), если он еще не установлен на вашем компьютере.\n2. Скачайте репозиторий с помощью команды [Git](https://git-scm.com/book/ru/v2/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5-%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-Git) `git clone https://github.com/redboo/polkassembly-comment-parser.git` или скачайте [zip-архив](https://github.com/redboo/polkassembly-comment-parser/archive/refs/heads/main.zip) и распакуйте его.\n3. Перейдите в директорию с исходным кодом `cd path/to/code`\n4. Установите зависимости, запустив команду `pip install -r requirements.txt`.\n\n## Использование\n\nДля запуска парсера используйте команду:\n\n```shell\npython run.py [-h] [--url URL | --urls-file URLS_FILE] [--interval INTERVAL] [--start START] [--end END] [--log {DEBUG,INFO,WARNING,ERROR,CRITICAL}]\n\n```\n\nАргументы:\n\n- `--url`: адрес страницы для парсинга\n- `--urls-file`: путь к файлу со списком адресов страниц для парсинга (должен быть в формате .txt)\n- `--interval`: интервал в секундах для автоматического парсинга (необязательный)\n- `--start`: начальная дата в формате ГГГГММДД, используется для фильтрации комментариев по дате (необязательный)\n- `--end`: конечная дата в формате ГГГГММДД, используется для фильтрации комментариев по дате (необязательный)\n- `--log`: уровень логирования (по умолчанию \"WARNING\"). Доступные уровни логирования:\n  - `DEBUG`: наиболее подробное логирование, позволяющее отслеживать выполнение каждой операции в скрипте\n  - `INFO`: информационные сообщения о ходе выполнения скрипта\n  - `WARNING`: сообщения об ошибках, которые не прерывают выполнение скрипта\n  - `ERROR`: сообщения об ошибках, которые прерывают выполнение скрипта\n  - `CRITICAL`: сообщения о критических ошибках, которые прерывают выполнение скрипта и могут привести к серьезным проблемам.\n\nНапример, если вы хотите запускать скрипт каждые 24 часа и отфильтровать комментарии по начальной дате, используйте команду:\n\n```shell\npython run.py --interval 86400 --start 20230501\n```\n\n## Результаты\n\nРезультаты парсинга будут сохранены в директории `downloads/YYYY-MM-DD_HH-MM-SS` в файле `YYYY-MM-DD_HH-MM-SS_{network_name}.csv`, где `YYYY-MM-DD_HH-MM-SS` - текущее время в момент запуска парсера, а `network_name` - название поддомена сайта [polkassembly.io](https://polkassembly.io/).\n\n## Обработка ошибок\n\nВ случае возникновения ошибок при выполнении скрипта, информация об этом будет выведена в терминал, а выполнение скрипта продолжится.\n\n## Прерывание выполнения скрипта\n\nДля прерывания выполнения скрипта можно воспользоваться комбинацией \u003ckbd\u003eCTRL\u003c/kbd\u003e+\u003ckbd\u003eC\u003c/kbd\u003e.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fredboo%2Fpolkassembly-comment-parser","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fredboo%2Fpolkassembly-comment-parser","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fredboo%2Fpolkassembly-comment-parser/lists"}