https://github.com/ewertondrigues02/engenharia-de-dados

Varios Projetos de Engenharia de Dados usando principais ferramentas como: Airflow, Snowflake, dbt, Postrgres, Looker Studio, Power BI
https://github.com/ewertondrigues02/engenharia-de-dados

airflow analise-exploratoria analytics aws-ec2 dados data dbt-cloud engenharia-de-dados looker-studio postgres pyspark python3 snowflake spark

Last synced: 1 day ago
JSON representation

Varios Projetos de Engenharia de Dados usando principais ferramentas como: Airflow, Snowflake, dbt, Postrgres, Looker Studio, Power BI

• Host: GitHub
• URL: https://github.com/ewertondrigues02/engenharia-de-dados
• Owner: ewertondrigues02
• Created: 2024-04-04T14:22:54.000Z (10 months ago)
• Default Branch: main
• Last Pushed: 2024-04-10T08:57:18.000Z (10 months ago)
• Last Synced: 2024-11-18T05:43:17.736Z (2 months ago)
• Topics: airflow, analise-exploratoria, analytics, aws-ec2, dados, data, dbt-cloud, engenharia-de-dados, looker-studio, postgres, pyspark, python3, snowflake, spark
• Language: Python
• Homepage:
• Size: 215 KB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# Engenharia de Dados

O projeto de Engenharia de Dados proposto visa implementar uma infraestrutura robusta e escalável para processamento e análise de dados em várias fontes e formatos. Utilizando as principais ferramentas do mercado, como Airflow, Snowflake, dbt, PostgreSQL, Looker Studio e Power BI, objetivo é fornecer uma solução completa para as necessidades de análise de dados da organização.

O fluxo de trabalho será gerenciado pelo Airflow, permitindo agendar e executar tarefas de forma automática e programada. Com o Airflow, podemos orquestrar fluxos de trabalho complexos, garantindo a execução de tarefas na ordem correta e lidando com possíveis falhas de forma eficiente.

Os dados serão armazenados no Snowflake, um data warehouse moderno e altamente escalável. O Snowflake oferece desempenho excepcional e suporta cargas de trabalho analíticas de grande escala. Além disso, sua arquitetura em nuvem permite escalabilidade automática e gerenciamento simplificado.

Para transformação de dados e modelagem dimensional, faremos uso do dbt (data build tool). O dbt simplifica o processo de transformação de dados, permitindo aos analistas escreverem consultas SQL e transformações de dados de forma modular e fácil de manter. Isso nos permitirá criar modelos de dados consistentes e atualizados automaticamente.

O PostgreSQL será utilizado para armazenamento de dados transacionais e como fonte de dados para alimentar o Snowflake. Sua confiabilidade e capacidade de manipulação de transações serão fundamentais para garantir a integridade dos dados.

Para visualização e análise de dados, faremos uso do Looker Studio e do Power BI. Essas ferramentas nos permitirão criar dashboards interativos e relatórios personalizados, fornecendo insights acionáveis para os usuários finais em toda a organização.

Em resumo, este projeto de Engenharia de Dados busca fornecer uma solução completa e integrada para captura, armazenamento, transformação, análise e visualização de dados, capacitando a organização a tomar decisões informadas e impulsionar o crescimento e a inovação.