https://github.com/arthurcoutinho15/amazon_scrapy

https://github.com/arthurcoutinho15/amazon_scrapy

python selenium

Last synced: about 2 months ago
JSON representation

• Host: GitHub
• URL: https://github.com/arthurcoutinho15/amazon_scrapy
• Owner: ArthurCoutinho15
• Created: 2024-07-31T15:24:23.000Z (almost 2 years ago)
• Default Branch: main
• Last Pushed: 2024-08-03T23:16:13.000Z (almost 2 years ago)
• Last Synced: 2025-04-06T09:29:18.675Z (about 1 year ago)
• Topics: python, selenium
• Language: Python
• Homepage:
• Size: 70.3 KB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
Web Scraping Notebooks Amazon

Descrição

Este projeto realiza a coleta de dados de notebooks do site Amazon, transforma, e carrega esses dados em um banco MySQL.     

Em seguida, gera um dashboard interativo utilizando Streamlit para visualização da distribuilção de preços e avaliações.

Configuração



    
Clone esse repositório

    
https://github.com/ArthurCoutinho15/amazon_scrapy

    Instale as dependências necessárias:

    pip install -r requirements.txt


    Crie um arquivo .env na raiz do projeto com as seguintes variáveis:

    HOST=your_mysql_host

    USER=your_mysql_user

    PASSWORD=your_mysql_password

    DB_NAME_PROD=your_database_name



Bibliotecas Utilizadas



    
Selenium

    
Pandas

    
SQLAlchemy

    
dotenv

    
Streamlit



Execução

Crie um banco de dados amazon e a seguinte tabela



    USE amazon;

    CREATE TABLE products(

    name varchar (150),

    price float, 

    rating int,

    mean_rating float,

    link varchar (200)

    );



Utilização do Streamlit



    O Streamlit é utilizado para criar um dashboard interativo que mostra os dados de notebooks vendidos na amazon.



Execução do Streamlit



    
Certifique-se de que o ambiente virtual está ativado.

    
Execute o comando para iniciar o Streamlit:

        

streamlit run script.py

        

        
Substitua script.py pelo nome do arquivo Python que contém o código acima.

    

    
Abra o navegador e acesse http://localhost:8501 para visualizar o dashboard.