Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/zombotron/reegex
- O projeto consiste em coletar dados de várias cidades do Tocantins usando web scraping.- Os dados coletados incluem o nome da cidade, população, gentílico e território.
https://github.com/zombotron/reegex
javascript node nodejs puppeteer regex regex-pattern scraping scraping-websites scrapy
Last synced: about 1 month ago
JSON representation
- O projeto consiste em coletar dados de várias cidades do Tocantins usando web scraping.- Os dados coletados incluem o nome da cidade, população, gentílico e território.
- Host: GitHub
- URL: https://github.com/zombotron/reegex
- Owner: ZOMBOTRON
- Created: 2024-05-10T23:53:29.000Z (6 months ago)
- Default Branch: main
- Last Pushed: 2024-05-11T23:08:24.000Z (6 months ago)
- Last Synced: 2024-10-10T20:02:01.317Z (about 1 month ago)
- Topics: javascript, node, nodejs, puppeteer, regex, regex-pattern, scraping, scraping-websites, scrapy
- Language: JavaScript
- Homepage:
- Size: 25.4 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Web Scraping com Puppeteer, Node.js e Expressões Regulares
Este é um exemplo de como fazer web scraping com Puppeteer para coletar dados de uma página da web.
## Instalação
1. Clone o repositório:
```bash
git clone https://github.com/ZOMBOTRON/reegex.git
```
2. Instale as dependências:
```bash
npm install
```
3. Execute o script:
```bash
node index.js
```
## Descrição
Este script lê os IDs dos distritos de um arquivo JSON chamado `IDs.json` e coleta dados de cada distrito usando Puppeteer. Os dados coletados incluem o nome da cidade, população, gentílico e território. Os dados são salvos em um arquivo CSV chamado `dados.csv`.
## Exemplo de dados coletados
```
Cidade,População,Gentílico,Território
São Salvador do Tocantins,2.385,são salvadorense,2.385km²
São Sebastião do Tocantins,4.100,sansebastianense,4.100km²
São Valério,4.422,são valeriano,4.422km²
```
## Notas
- Este script é apenas um exemplo e pode ser modificado para atender às suas necessidades específicas.
- Certifique-se de respeitar os termos de serviço do site ao fazer web scraping.
- Consulte a documentação do Puppeteer para obter mais informações sobre como usá-lo.
- Este script foi testado com o Puppeteer versão 22.8.0.
- Este script foi escrito em JavaScript ES6 e requer Node.js para ser executado.