https://github.com/gustavomorinaga/webcrawlertcc
Web Crawler que busca produtos em sites de hardware e verifica o menor preço entre elas.
https://github.com/gustavomorinaga/webcrawlertcc
Last synced: 3 months ago
JSON representation
Web Crawler que busca produtos em sites de hardware e verifica o menor preço entre elas.
- Host: GitHub
- URL: https://github.com/gustavomorinaga/webcrawlertcc
- Owner: gustavomorinaga
- Created: 2019-04-08T16:15:18.000Z (over 6 years ago)
- Default Branch: master
- Last Pushed: 2022-12-08T21:38:10.000Z (almost 3 years ago)
- Last Synced: 2025-06-27T08:51:57.900Z (3 months ago)
- Language: JavaScript
- Size: 22 MB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 16
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# WebCrawlerTCC
Web Crawler que busca produtos em sites de hardware e verifica o menor preço entre elas.
Ainda está em fase inicial de desenvolvimento. Tem como objetivo extrair informações de diversos sites e mostrar ao usuário todos eles
e observar o menor preço. O projeto não tem como objetivo baixar e guardar as informações em um banco de dados, somente a execução da
busca dos produtos. Caso o usuário queira o produto, ele adiciona em sua lista de desejos (que este sim será guardado no banco de dados)
e/ou será redirecionado ao site onde o produto está sendo vendido mais barato ou da preferência do usuário.
Selecione a opção do meio da página principal para ir na página de busca de produtos, é lá onde está sendo feito testes de crawler. Dependendo da internet, o crawler demora um pouco para pegar as informações e construir o corpo de resultado na tela. Somente funciona buscar por "Processador" e "Placa de Video".
As pesquisas são feitas em tempo real, sem redirecionamento e, observando a busca pelos produtos específicos citados anteriormente, funciona muito bem. O problema é que em alguns sites o crawler é bloqueado de fazer requisições de dados, chamado CORS.
O projeto será um site, onde pode ser hospedado em um site para todos utilizarem, mas como é para TCC, então terá período de funcionamento em curto prazo. O projeto atualmente é uma mistura de HTML, CSS, JS, JQuery e Node.js.