An open API service indexing awesome lists of open source software.

https://github.com/codeonthespectrum/web-scrap

Este projeto realiza o web scraping da Wikipédia para obter dados sobre os municípios mais populosos do estado do Rio de Janeiro.
https://github.com/codeonthespectrum/web-scrap

data-analysis data-visualization webscraping

Last synced: 4 months ago
JSON representation

Este projeto realiza o web scraping da Wikipédia para obter dados sobre os municípios mais populosos do estado do Rio de Janeiro.

Awesome Lists containing this project

README

          

Web Scraping & Municípios mais populosos do Estado do Rio






>

### Tópicos

:small_blue_diamond: [Descrição do projeto](#descrição-do-projeto)

:small_blue_diamond: [Funcionalidades](#funcionalidades)

:small_blue_diamond: [Deploy da Aplicação](#deploy-da-aplicação-dash)

:small_blue_diamond: [Pré-requisitos](#pré-requisitos)

:small_blue_diamond: [Como rodar a aplicação](#como-rodar-a-aplicação-arrow_forward)

## Descrição do projeto


ste projeto realiza o web scraping da Wikipédia para obter dados sobre os municípios mais populosos do estado do Rio de Janeiro. O objetivo é demonstrar as etapas de coleta, transformação e disponibilização desses dados aplicando Web Scraping Ético para uso em análise e visualização de dados.

## Funcionalidades

:heavy_check_mark: Extração de Dados

:heavy_check_mark: Armazenamento de Dados

:heavy_check_mark: Visualização de Dados

:heavy_check_mark: Análise de Dados

## Deploy da Aplicação :dash:

> Visualização em formato de gráfico após coleta e limpeza dos dados
![WhatsApp Image 2025-01-23 at 8 19 41 PM](https://github.com/user-attachments/assets/64485d9e-ff68-43dc-b36b-3526f868a706)

## Como rodar a aplicação :arrow_forward:

No terminal, clone o projeto:

```
git clone https://github.com/barbiedeti/web-scrap.git
```

## Casos de Uso
**Pesquisas demográficas:** O projeto pode ser usado por pesquisadores para obter dados atualizados sobre a população dos municípios.

### Arquitetura de Dados
```
Wikipédia -> Scraping (BeautifulSoup) -> Transformação (pandas) -> Armazenamento (CSV/SQLite) -> Visualização (Matplotlib)
```

## Diagrama

![Captura de Tela 2025-01-23 às 21 10 20](https://github.com/user-attachments/assets/8715858c-37e1-456c-900f-7a8c41187622)

## Linguagens, dependencias e libs utilizadas :books:

- Python
- BeautifulSoup
- Pandas
- NumPy
- MatplotLib
- Requests

## Desenvolvedora :octocat:

| [
Kim Gomes](https://github.com/barbiedeti) |
| :---: |

## Licença

Copyright :copyright: 2025 - Web Scraping & Municípios mais populosos do Estado do Rio