https://github.com/redboo/aave-comment-parser
Парсер комментариев Aave
https://github.com/redboo/aave-comment-parser
parser python scraper
Last synced: 26 days ago
JSON representation
Парсер комментариев Aave
- Host: GitHub
- URL: https://github.com/redboo/aave-comment-parser
- Owner: redboo
- License: gpl-3.0
- Created: 2023-04-28T06:59:18.000Z (about 3 years ago)
- Default Branch: main
- Last Pushed: 2023-05-20T16:39:22.000Z (about 3 years ago)
- Last Synced: 2025-02-28T10:36:34.518Z (over 1 year ago)
- Topics: parser, python, scraper
- Language: Python
- Homepage:
- Size: 44.9 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Парсер комментариев Aave
Данный скрипт предназначен для автоматизации процесса сбора данных о комментариях на платформе [AAVE](https://governance.aave.com/)
## Установка
1. Установите [Python 3](https://practicum.yandex.ru/blog/kak-ustanovit-python-na-kompyuter/), если он еще не установлен на вашем компьютере.
2. Скачайте репозиторий с помощью команды [Git](https://git-scm.com/book/ru/v2/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5-%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-Git) `git clone https://github.com/redboo/aave-comment-parser.git` или скачайте [zip-архив](https://github.com/redboo/aave-comment-parser/archive/refs/heads/main.zip) и распакуйте его.
3. Перейдите в директорию с исходным кодом `cd path/to/code`
4. Установите зависимости, запустив команду `pip install -r requirements.txt`.
## Использование
Для запуска парсера используйте команду:
```shell
python run.py [--interval INTERVAL] [--log-level LOG_LEVEL] [--csv] [--excel] [--encoding ENCODING] [--limit LIMIT]
```
Аргументы:
- `--interval`: интервал в секундах для автоматического парсинга (необязательный)
- `--log-level`: уровень логирования (по умолчанию "WARNING"). Доступные уровни логирования:
- `DEBUG`: наиболее подробное логирование, позволяющее отслеживать выполнение каждой операции в скрипте
- `INFO`: информационные сообщения о ходе выполнения скрипта
- `WARNING`: сообщения об ошибках, которые не прерывают выполнение скрипта
- `ERROR`: сообщения об ошибках, которые прерывают выполнение скрипта
- `CRITICAL`: сообщения о критических ошибках, которые прерывают выполнение скрипта и могут привести к серьезным проблемам.
- `--csv`: укажите этот параметр, чтобы сохранить данные в CSV-файл (по умолчанию: сохранять)
- `--excel`: укажите этот параметр, чтобы сохранить данные в Excel-файл (по умолчанию: не сохранять)
- `--encoding`: укажите кодировку для сохранения в CSV и Excel (по умолчанию: "utf-8")
- `--limit`: укажите максимальное количество тем-топиков для парсинга (по умолчанию не ограничено)
Например, если вы хотите запускать скрипт каждый час, сохранять данные в Excel-файл, и установить кодировку файла Windows-1251, используйте команду:
```shell
python run.py --interval 3600 --excel --encoding cp1251
```
## Результаты
Результаты парсинга будут сохранены в файле `downloads/aave-comments_YYYY-MM-DD_HH-MM-SS.csv`, где `YYYY-MM-DD_HH-MM-SS` - текущее время в момент запуска парсера.
Файл будет содержать следующие поля:
- `Тема`: название темы, к которой относится комментарий
- `Лайки`: количество лайков у темы
- `Просмотры`: количество просмотров у темы
- `Комментарий`: текст комментария
- `Пользователь`: имя пользователя, оставившего комментарий
- `Лайки комментария`: количество лайков у комментария
- `Дата`: дата и время оставления комментария
## Обработка ошибок
В случае возникновения ошибок при выполнении скрипта, информация об этом будет выведена в терминал, а выполнение скрипта продолжится.
## Прерывание выполнения скрипта
Для прерывания выполнения скрипта можно воспользоваться комбинацией CTRL+C.