https://github.com/rxyalxrd/scrapy_parser_pep

https://github.com/rxyalxrd/scrapy_parser_pep

Last synced: 7 days ago
JSON representation

• Host: GitHub
• URL: https://github.com/rxyalxrd/scrapy_parser_pep
• Owner: Rxyalxrd
• Created: 2024-06-19T10:46:41.000Z (7 months ago)
• Default Branch: main
• Last Pushed: 2024-06-22T14:22:34.000Z (7 months ago)
• Last Synced: 2024-11-17T03:13:47.304Z (2 months ago)
• Language: Python
• Size: 20.5 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# Scrapy Parser PEP

[![Python](https://img.shields.io/badge/-Python-464646?style=flat&logo=Python&logoColor=ffffff&color=043A6B)](https://www.python.org/)

[![Scrapy](https://img.shields.io/badge/-Scrapy-464646?style=flat&logo=Scrapy&logoColor=ffffff&color=043A6B)](https://www.djangoproject.com/)

## Парсинг документов PEP

Асинхронный парсер собирающий данные о Python Enhancement Proposals (PEP) с сайта `https://www.python.org/`.

С каждой страницы PEP парсер собирает номер, название, статус и сохраняет

несколько файлов в формате `.csv` в папке `results/...`:

* Список PEP (номер, название и статус);

* Подсчитывает общее количество каждого статуса и сумму всех статусов.

## Как запустить проект:

Клонировать репозиторий и перейти в него в командной строке:

```

git clone [email protected]:MrGorkiy/scrapy_parser_pep.git

```

Создать и активировать виртуальное окружение:

```

python3 -m venv env

```

```

source env/bin/activate

```

Установить зависимости из файла requirements.txt:

```

python3 -m pip install --upgrade pip

```

```

pip install -r requirements.txt

```

## Запуск парсера

```

scrapy crawl pep

```