https://github.com/ronierisonmaciel/steamdb
https://github.com/ronierisonmaciel/steamdb
Last synced: 2 months ago
JSON representation
- Host: GitHub
- URL: https://github.com/ronierisonmaciel/steamdb
- Owner: RonierisonMaciel
- Created: 2024-05-18T19:24:19.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2024-05-20T18:00:22.000Z (about 1 year ago)
- Last Synced: 2025-01-30T23:30:46.748Z (4 months ago)
- Language: Python
- Size: 29.3 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# SteamDB Sales Scraper
O projeto tem por objetivo extrair dados de promoções do site SteamDB e armazená-los no Google BigQuery para posterior visualização e análise.
## Estrutura do Projeto
- `scraper.py`: Script responsável por realizar a raspagem dos dados de promoções do site SteamDB.
- `bigquery_upload.py`: Script para enviar os dados raspados para o Google BigQuery.
- `requirements.txt`: Lista de dependências necessárias para executar os scripts.
## Requisitos
- Python 3.8+
- Conta no Google Cloud Platform com acesso ao BigQuery
- Credenciais do Google Cloud para autenticação
## Configuração
1. Clone este repositório:
```bash
git clone https://github.com/seuusuario/steamdb.git
cd steamdb
```
2. Instale as dependências:
```bash
pip install -r requirements.txt
```
3. Configure suas credenciais do Google Cloud:
- Crie um novo projeto no [Google Cloud Console](https://console.cloud.google.com/).
- Habilite a API do BigQuery.
- Crie uma conta de serviço e baixe o arquivo JSON das credenciais.
- Defina a variável de ambiente `GOOGLE_APPLICATION_CREDENTIALS` para apontar para o arquivo JSON:
```bash
export GOOGLE_APPLICATION_CREDENTIALS="path/to/credentials.json"
```
## Execução
1. Execute o script de raspagem para obter os dados de promoções do SteamDB:
```bash
python scraper.py
```
2. Envie os dados raspados para o Google BigQuery:
```bash
python bigquery_upload.py
```
## Visualização dos Dados
Os dados podem ser visualizados diretamente no Google BigQuery, exportados para um Google Sheets ou Google Data Studio.
### Link no Google Sheets e Google Data Studio
1. [Google Sheets](https://docs.google.com/spreadsheets/d/e/2PACX-1vSA7wehUbLUoav79bJbNoSRczZiDtufYtRlomfQjvWTqO5xZ_0NNh6HpHEWUZdeNhm3vdGwAub1hMck/pubhtml)
2. [Google Data Studio](https://lookerstudio.google.com/reporting/7c18a400-aa79-46a2-afdc-f96b35fc63da)
## Arquitetura da Solução
1. **Raspagem dos Dados:** O script `scraper.py` utiliza a biblioteca `Selenium` para extrair informações de promoções do SteamDB.
2. **Armazenamento no BigQuery:** O script `bigquery_upload.py` utiliza a biblioteca `google-cloud-bigquery` para enviar os dados extraídos para uma tabela específica no BigQuery.
3. **Visualização no Google Sheets:** Os dados no BigQuery podem ser conectados ao Google Sheets para criar visualizações dinâmicas.