{"id":26674233,"url":"https://github.com/izaaccoding36/pipeline-dados","last_synced_at":"2026-04-29T08:32:46.814Z","repository":{"id":244583477,"uuid":"815666405","full_name":"IzaacCoding36/Pipeline-dados","owner":"IzaacCoding36","description":"Esse repositório apresenta uma pipeline de dados utilizando python e jupyter notebook, utilizado no curso de data science da Alura.","archived":false,"fork":false,"pushed_at":"2025-01-05T23:32:14.000Z","size":151,"stargazers_count":1,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-01-06T00:28:43.921Z","etag":null,"topics":["alura","data-science","jupyter-notebook","pipeline","python"],"latest_commit_sha":null,"homepage":"","language":"Jupyter Notebook","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/IzaacCoding36.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2024-06-15T19:15:16.000Z","updated_at":"2025-01-05T23:32:17.000Z","dependencies_parsed_at":"2025-01-06T00:25:30.844Z","dependency_job_id":"3af43c77-6fbb-4c80-b66a-acccdb7ebd96","html_url":"https://github.com/IzaacCoding36/Pipeline-dados","commit_stats":null,"previous_names":["izaaccoding36/pipeline-dados"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IzaacCoding36%2FPipeline-dados","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IzaacCoding36%2FPipeline-dados/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IzaacCoding36%2FPipeline-dados/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IzaacCoding36%2FPipeline-dados/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/IzaacCoding36","download_url":"https://codeload.github.com/IzaacCoding36/Pipeline-dados/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":245573892,"owners_count":20637674,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["alura","data-science","jupyter-notebook","pipeline","python"],"created_at":"2025-03-26T02:18:23.654Z","updated_at":"2026-04-29T08:32:46.800Z","avatar_url":"https://github.com/IzaacCoding36.png","language":"Jupyter Notebook","funding_links":[],"categories":[],"sub_categories":[],"readme":"[![Typing SVG](https://readme-typing-svg.herokuapp.com?font=Orbitron\u0026weight=500\u0026size=17\u0026pause=1000\u0026color=FF9400\u0026background=0C1831\u0026center=true\u0026vCenter=true\u0026width=1000\u0026height=100\u0026lines=Pipeline+de+Dados;Python;Jupyter+Notebook)](https://git.io/typing-svg)\n\n---\n\n# Pipeline de Dados\n\n**Esse repositório apresenta uma pipeline de dados utilizando Python e Jupyter Notebook, utilizado em um projeto de Data Science**\n\n## Descrição\n\nEste projeto implementa um pipeline ETL (Extract, Transform, Load) que processa dados de vendas de duas empresas diferentes:\n- **Empresa A**: Dados em formato JSON (`data_raw/dados_empresaA.json`)\n- **Empresa B**: Dados em formato CSV (`data_raw/dados_empresaB.csv`)\n\nO pipeline combina e padroniza os dados das duas fontes em um único arquivo CSV de saída.\n\n## Estrutura do Projeto\n\n```\nPipeline-dados/\n├── data_raw/              # Dados brutos de entrada\n│   ├── dados_empresaA.json\n│   └── dados_empresaB.csv\n├── data_processed/        # Dados processados de saída\n│   └── dados_combinados.csv\n├── scripts/              # Scripts Python do pipeline\n│   ├── processamento_dados.py\n│   └── fusao_mercado_fev.py\n├── notebooks/            # Notebooks Jupyter para exploração\n│   └── exploracao.ipynb\n└── README.md\n```\n\n## Como Usar\n\n### Executar o Pipeline\n\nO pipeline pode ser executado a partir do diretório raiz ou do diretório scripts:\n\n```bash\n# A partir do diretório raiz\npython scripts/fusao_mercado_fev.py\n\n# A partir do diretório scripts\ncd scripts\npython fusao_mercado_fev.py\n```\n\n### Exploração dos Dados\n\nUse o Jupyter Notebook para explorar os dados:\n\n```bash\njupyter notebook notebooks/exploracao.ipynb\n```\n\n## Funcionalidades\n\n- **Leitura de dados**: Suporte para arquivos JSON e CSV\n- **Transformação**: Padronização de nomes de colunas entre diferentes fontes\n- **Combinação**: União de dados de múltiplas fontes\n- **Export**: Geração de arquivo CSV combinado\n- **Tratamento de dados faltantes**: Valores ausentes são marcados como \"Indisponivel\"\n\n## Dependências\n\n- Python 3.x\n- csv (biblioteca padrão)\n- json (biblioteca padrão)\n- os (biblioteca padrão)\n\n## Estrutura dos Dados\n\nO pipeline processa produtos com os seguintes campos:\n- Nome do Produto\n- Categoria do Produto  \n- Preço do Produto (R$)\n- Quantidade em Estoque\n- Filial\n- Data da Venda (quando disponível)\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fizaaccoding36%2Fpipeline-dados","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fizaaccoding36%2Fpipeline-dados","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fizaaccoding36%2Fpipeline-dados/lists"}