https://github.com/vladislavyar/scrapy_parser_pep
Проект представляет из себя парсер, сделанный на фреймворке Scrapy. Парсинг осуществляется страницы https://www.python.org/. С каждой страницы PEP парсер собирает номер, название, статус и сохраняет несколько файлов в формате .csv
https://github.com/vladislavyar/scrapy_parser_pep
python scrapy
Last synced: 3 months ago
JSON representation
Проект представляет из себя парсер, сделанный на фреймворке Scrapy. Парсинг осуществляется страницы https://www.python.org/. С каждой страницы PEP парсер собирает номер, название, статус и сохраняет несколько файлов в формате .csv
- Host: GitHub
- URL: https://github.com/vladislavyar/scrapy_parser_pep
- Owner: VladislavYar
- Created: 2023-08-28T17:09:38.000Z (almost 2 years ago)
- Default Branch: main
- Last Pushed: 2023-12-28T17:18:34.000Z (over 1 year ago)
- Last Synced: 2025-01-12T08:21:56.413Z (5 months ago)
- Topics: python, scrapy
- Language: Python
- Homepage:
- Size: 53.7 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# scrapy_parser_pep
## Парсинг документов PEP
Проект представляет из себя парсер, сделанный на фреймворке Scrapy.
Парсинг осуществляется страницы `https://www.python.org/`.
С каждой страницы PEP парсер собирает номер, название, статус и сохраняет
несколько файлов в формате `.csv` в папке `results/...`:
- Список PEP (номер, название и статус);
- Подсчитывает общее количество каждого статуса и сумму всех статусов.
## Как запустить проект:
### Клонировать репозиторий и перейти в него в командной строке:
```
git clone [email protected]:VladislavYar/scrapy_parser_pep.git
```
### Создать и активировать виртуальное окружение:
```
python -m venv env
source env/scripts/activate
```
### Установить зависимости из файла requirements.txt:
```
pip install -r requirements.txt
```
## Запуск парсера
```
scrapy crawl pep
```
## Cтек проекта
Python v3.9, Scrapy