Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/igorbrizack/web-scraper
Aplicação de raspagem de dados HTML, construída em python.
https://github.com/igorbrizack/web-scraper
crawler pytest python3 scraper
Last synced: 8 days ago
JSON representation
Aplicação de raspagem de dados HTML, construída em python.
- Host: GitHub
- URL: https://github.com/igorbrizack/web-scraper
- Owner: IgorBrizack
- Created: 2023-02-14T22:56:42.000Z (almost 2 years ago)
- Default Branch: main
- Last Pushed: 2023-02-15T23:28:02.000Z (almost 2 years ago)
- Last Synced: 2024-11-28T03:13:46.733Z (2 months ago)
- Topics: crawler, pytest, python3, scraper
- Language: Python
- Homepage:
- Size: 22.5 KB
- Stars: 1
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# :snake: Web-scraper
Esse projeto foi criado com intenção de utilizar um crawler para raspar os dados HTML do blog de notícias da TRYBE.
Desafios propostos:
- Coletar os dados HTML da página web.
- Armazenar os dados no banco de dados (MongoDB).
- Criar menu interativo com terminal do Python.
- Desenvolver os testes da Aplicação com o pytest.
:desktop_computer: Configurações iniciais:
1. **Clone o repositório**
* Use o comando: `[email protected]:IgorBrizack/web-scraper.git`
2. **criar o ambiente virtual**
```bash
python3 -m venv .venv
```
3. **ativar o ambiente virtual**
```bash
source .venv/bin/activate
```
4. **instalar as dependências no ambiente virtual**
```bash
python3 -m pip install -r dev-requirements.txt
```
:floppy_disk: Iniciando o banco de dados com Docker:
docker-compose up -d mongodb
## Rodando a aplicação:
Ao finalizar os demais passos você poderá interagir com a aplicação através do terminal interativo apenas digitando a chamada abaixo:
python3 -m tech_news.main.