https://github.com/mpbeatriz/santander_coders_2024

Repositório dos exercícios e projetos do curso de Engenharia de Dados da Ada em parceria com o Santander (em andamento).
https://github.com/mpbeatriz/santander_coders_2024

apache-kafka apache-spark api data-engineering data-extraction fastapi flask numpy oop pandas python webhooks

Last synced: 2 months ago
JSON representation

Repositório dos exercícios e projetos do curso de Engenharia de Dados da Ada em parceria com o Santander (em andamento).

• Host: GitHub
• URL: https://github.com/mpbeatriz/santander_coders_2024
• Owner: mpbeatriz
• Created: 2024-10-17T12:48:25.000Z (over 1 year ago)
• Default Branch: main
• Last Pushed: 2024-12-12T15:33:06.000Z (over 1 year ago)
• Last Synced: 2025-03-31T01:49:42.379Z (about 1 year ago)
• Topics: apache-kafka, apache-spark, api, data-engineering, data-extraction, fastapi, flask, numpy, oop, pandas, python, webhooks
• Language: Jupyter Notebook
• Homepage:
• Size: 5.68 MB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# Santander Coders 2024 - Engenharia de Dados

Repositório dos exercícios e projetos do curso de Engenharia de Dados da Ada em parceria com o Santander (em andamento).

Conteúdo didático do curso:

* Módulo I: Lógica de Programação em Python II

  - Listas;

  - Tuplas;

  - Dicionários;

  - Compreensão de listas;

  - Expressões geradoras;

  - Strings;

  - Funções;

  - Programação funcional;

  - Tratamento de exceções;

  - Arquivos.

    

* Módulo II: Programação Orientada a Objetos

  - Paradigmas de programação;

  - Classes e objetos;

  - Módulos e pacotes;

  - Atributos privados e métodos de acesso;

  - Métodos mágicos;

  - Atributos e métodos estáticos;

  - Herança e polimorfismo.

* Módulo III: Técnicas de Programação em Python I

  - Git e GitHub;

  - NumPy;

  - Pandas.

* Módulo IV: Extração de Dados I

  - Databricks;

  - ETL e ELT;

  - APIs;

  - Armazenamento de dados;

  - Apache Spark;

  - Arquitetura orientada a eventos;

  - Apache Kafka.

* Módulo V: Analytics Engineering

  - Boas Práticas Para Tratamento de Dados (Analytics);

  - Data Quality, Data Clean e Testes;

  - Validando dados com Great Expectations;

  - Especializando dados através do dbt - data build tool.

 

* Módulo VI: Big Data

  - Big Data;

  - Apache Hadoop;

  - Cloud computing;

  - Databricks;

  - Apache Hive;

  - Spark;

  - Delta Lake;

  - Otimizações e Engenharia de Dados com Spark;

  - Spark Streaming.