https://github.com/walterowisk/dio_labproject-pipeline-etl-python

Desafio de projeto proposto pela DIO dentro do Santander Bootcamp 2023 - Ciência de Dados com Python
https://github.com/walterowisk/dio_labproject-pipeline-etl-python

colab-notebook data-science dio-bootcamp etl etl-pipeline google-colab python

Last synced: about 4 hours ago
JSON representation

Desafio de projeto proposto pela DIO dentro do Santander Bootcamp 2023 - Ciência de Dados com Python

• Host: GitHub
• URL: https://github.com/walterowisk/dio_labproject-pipeline-etl-python
• Owner: walterowisk
• Created: 2023-08-30T17:25:32.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2023-08-31T13:40:17.000Z (about 1 year ago)
• Last Synced: 2024-04-28T07:44:22.533Z (7 months ago)
• Topics: colab-notebook, data-science, dio-bootcamp, etl, etl-pipeline, google-colab, python
• Language: Jupyter Notebook
• Homepage:
• Size: 138 KB
• Stars: 4
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        




Santander Bootcamp 2023 
 Ciência de Dados com Python





##  :brain: Desafio Original DIO: Explorando IA Generativa em um Pipeline de ETL com Python

Notebook do desafio original resolvido pelo Venilton da DIO:



  



## :rocket: Entendendo o desafio

Inspirado pelo projeto modelo o aluno deveria replicar ou reimaginar uma pipeline ETL utilizando Python.

## :bar_chart: Meu projeto 🤽‍♂️🚴‍♀️🏄⚽🏈

Imaginando uma loja de produtos esportivos meu desafio foi criar um pipeline ETL para extrair dados de vendas de um arquivo CSV, realizar algumas transformações simples como cálculo de total de vendas por produto e por período e por fim realizar carregamento dos dados transformados em um novo arquivo CSV além de criar uma visualização em tela para mostrar o resultados por meio de gráficos.

## :technologist: Etapas do Pipeline de ETL

### :white_check_mark: Extract

Nesta etapa vamos extrair os dados de vendas do arquivo `dados-venda.csv`. Este arquivo traz informações referentes ao ano de 2023 considerando o período de janeiro a agosto. As colunas contidas no arquivo são as seguintes: `Produto`, `Data`, `Quantidade` e `Valor`.

### :white_check_mark: Transform

Agora vamos calcular o total de vendas por produto e por mês.

### :white_check_mark: Load

 Salvando os dados transformados em um novo arquivo CSV e gerando gráfico de barras e de linha usando a biblioteca `Matplotlib`

## :battery: Stack utilizada

![VSCODE](https://img.shields.io/badge/Visual%20Studio%20Code-007ACC.svg?style=for-the-badge&logo=Visual-Studio-Code&logoColor=white)

![PYTHON](https://img.shields.io/badge/Python-3776AB.svg?style=for-the-badge&logo=Python&logoColor=white)

![GIT](https://img.shields.io/badge/Git-F05032.svg?style=for-the-badge&logo=Git&logoColor=white)

![GOOGLE COLAB](https://img.shields.io/badge/Google%20Colab-F9AB00.svg?style=for-the-badge&logo=Google-Colab&logoColor=white)

## :notebook_with_decorative_cover:	 Notebook do meu projeto no Google Colab