https://github.com/kaiofelps/live-crawler

Um web crawler usando Cheerio e Next.js que pega notícias de um site, formata e exibe-as em uma tabela.
https://github.com/kaiofelps/live-crawler

cheerio nextjs puppeteer webcrawler

Last synced: 9 days ago
JSON representation

Um web crawler usando Cheerio e Next.js que pega notícias de um site, formata e exibe-as em uma tabela.

• Host: GitHub
• URL: https://github.com/kaiofelps/live-crawler
• Owner: KaioFelps
• Created: 2023-07-24T17:21:42.000Z (over 1 year ago)
• Default Branch: main
• Last Pushed: 2024-09-02T06:00:34.000Z (5 months ago)
• Last Synced: 2024-11-27T13:41:38.005Z (2 months ago)
• Topics: cheerio, nextjs, puppeteer, webcrawler
• Language: TypeScript
• Homepage: https://live-crawler.vercel.app
• Size: 331 KB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# Live Crawler

Um pequeno web-crawler que busca e trata o DOM da página de promoções ativas do Habblive,

transformando as notícias em um tipo de dado consistente e apresentando as promoções numa interface simples construída com React Bootstrap.

## Rodando a aplicação

Desenvolvimento:

```bash

npm run dev

# or

yarn dev

# or

pnpm dev

```

Acesse [http://localhost:3000](http://localhost:3000) no navegador para carregar a home.

## Changelog

### v0.2.0

O html da página é buscado (através do `fetch` nativo).

Utilizando a biblioteca Cheerio, o DOM é manipulado de modo a obter os dados

necessários para inicializar instâncias da entidade `Article`.

- A plataforma `browserless` não é mais utilizada;

- A biblioteca `Puppeteer` não é mais utilizada.

### v0.1.0

Utiliza-se a biblioteca Puppeteer para acessar a página e buscar os dados,

formatando-os na página `.tsx`.

Como browser, utilizava-se a plataforma `browserless` para acessar o site do Habblive num ambiente serverless..