https://github.com/redboo/evmos-comment-parser
Парсер комментариев Evmos
https://github.com/redboo/evmos-comment-parser
parser python scraper
Last synced: 23 days ago
JSON representation
Парсер комментариев Evmos
- Host: GitHub
- URL: https://github.com/redboo/evmos-comment-parser
- Owner: redboo
- License: gpl-3.0
- Created: 2023-05-09T13:24:20.000Z (about 3 years ago)
- Default Branch: main
- Last Pushed: 2023-06-01T18:48:57.000Z (about 3 years ago)
- Last Synced: 2025-01-10T23:45:55.803Z (over 1 year ago)
- Topics: parser, python, scraper
- Language: Python
- Homepage:
- Size: 34.2 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- Funding: .github/FUNDING.yml
- License: LICENSE
Awesome Lists containing this project
README
# Парсер комментариев Evmos
Данный скрипт предназначен для автоматизации процесса сбора данных о комментариях на платформе [Evmos](https://commonwealth.im/evmos/discussions)
## Установка
1. Установите [Python 3](https://practicum.yandex.ru/blog/kak-ustanovit-python-na-kompyuter/), если он еще не установлен на вашем компьютере.
2. Скачайте репозиторий с помощью команды [Git](https://git-scm.com/book/ru/v2/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5-%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-Git) `git clone https://github.com/redboo/evmos-comment-parser.git` или скачайте [zip-архив](https://github.com/redboo/evmos-comment-parser/archive/refs/heads/main.zip) и распакуйте его.
3. Перейдите в директорию с исходным кодом `cd path/to/code`
4. Установите зависимости, запустив команду `pip install -r requirements.txt`.
## Использование
Для запуска парсера используйте команду:
```shell
python run.py [-h] [--interval INTERVAL] [--start START] [--end END] [--log {DEBUG,INFO,WARNING,ERROR,CRITICAL}]
```
Аргументы:
- `--interval`: интервал в секундах для автоматического парсинга (необязательный)
- `--start`: начальная дата в формате ГГГГММДД, используется для фильтрации комментариев по дате (необязательный)
- `--end`: конечная дата в формате ГГГГММДД, используется для фильтрации комментариев по дате (необязательный)
- `--log`: уровень логирования (по умолчанию "WARNING"). Доступные уровни логирования:
- `DEBUG`: наиболее подробное логирование, позволяющее отслеживать выполнение каждой операции в скрипте
- `INFO`: информационные сообщения о ходе выполнения скрипта
- `WARNING`: сообщения об ошибках, которые не прерывают выполнение скрипта
- `ERROR`: сообщения об ошибках, которые прерывают выполнение скрипта
- `CRITICAL`: сообщения о критических ошибках, которые прерывают выполнение скрипта и могут привести к серьезным проблемам.
Например, если вы хотите запускать скрипт каждые 24 часа и отфильтровать комментарии по начальной дате, используйте команду:
```shell
python run.py --interval 86400 --start 20230501
```
## Результаты
Результаты парсинга будут сохранены в директории `downloads` в файле `YYYY-MM-DD_HH-MM-SS_evmos.csv`, где `YYYY-MM-DD_HH-MM-SS` - текущее время в момент запуска парсера.
## Обработка ошибок
В случае возникновения ошибок при выполнении скрипта, информация об этом будет выведена в терминал, а выполнение скрипта продолжится.
## Прерывание выполнения скрипта
Для прерывания выполнения скрипта можно воспользоваться комбинацией CTRL+C.