https://github.com/redboo/arbitrum_parser
https://github.com/redboo/arbitrum_parser
parser python scraper
Last synced: 13 days ago
JSON representation
- Host: GitHub
- URL: https://github.com/redboo/arbitrum_parser
- Owner: redboo
- License: gpl-3.0
- Created: 2023-12-12T13:26:12.000Z (over 2 years ago)
- Default Branch: main
- Last Pushed: 2023-12-13T09:59:12.000Z (over 2 years ago)
- Last Synced: 2025-02-28T10:36:24.787Z (over 1 year ago)
- Topics: parser, python, scraper
- Language: Python
- Homepage:
- Size: 30.3 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Парсер комментариев Arbitrum
Данный скрипт предназначен для автоматизации процесса сбора данных о комментариях на платформе [Arbitrum](https://forum.arbitrum.foundation/)
## Установка
1. Установите [Python 3](https://practicum.yandex.ru/blog/kak-ustanovit-python-na-kompyuter/), если он еще не установлен на вашем компьютере.
2. Скачайте репозиторий с помощью команды [Git](https://git-scm.com/book/ru/v2/%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5-%D0%A3%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-Git) `git clone https://github.com/redboo/arbitrum_parser.git` или скачайте [zip-архив](https://github.com/redboo/arbitrum_parser/archive/refs/heads/main.zip) и распакуйте его.
3. Перейдите в директорию с исходным кодом `cd path/to/code`
4. Установите зависимости, запустив команду `pip install -r requirements.txt`.
## Использование
Для запуска парсера используйте команду:
```shell
python run.py [--lastdays INTEGER] [--csv] [--excel]
```
Аргументы:
* `--lastdays`: количество дней от сегодняшней даты
* `--csv`: укажите этот параметр, чтобы сохранить данные в CSV-файл (по умолчанию: сохранять)
* `--excel`: укажите этот параметр, чтобы сохранить данные в Excel-файл (по умолчанию: не сохранять)
Например, если вы хотите найти комментарии за последние 7 дней и сохранить данные в Excel-файл, используйте команду:
```shell
python run.py --lastdays 7 --excel
```
## Результаты
Результаты парсинга будут сохранены в файле `downloads/YYYY-MM-DD_HH-MM-SS_forum.arbitrum.foundation.csv` , где `YYYY-MM-DD_HH-MM-SS` - текущее время в момент запуска парсера.
## Обработка ошибок
В случае возникновения ошибок при выполнении скрипта, информация об этом будет выведена в терминал, а выполнение скрипта продолжится.
## Прерывание выполнения скрипта
Для прерывания выполнения скрипта можно воспользоваться комбинацией CTRL+C.