https://github.com/mpdantas/realtime-flight-pipeline
Pipeline de Dados
https://github.com/mpdantas/realtime-flight-pipeline
airflow docker github-actions grafana kubernetes postgresql spark trivy
Last synced: 3 months ago
JSON representation
Pipeline de Dados
- Host: GitHub
- URL: https://github.com/mpdantas/realtime-flight-pipeline
- Owner: mpdantas
- Created: 2025-07-21T20:41:18.000Z (12 months ago)
- Default Branch: main
- Last Pushed: 2025-07-23T13:35:35.000Z (12 months ago)
- Last Synced: 2025-08-02T06:19:06.763Z (11 months ago)
- Topics: airflow, docker, github-actions, grafana, kubernetes, postgresql, spark, trivy
- Language: Python
- Homepage:
- Size: 8.28 MB
- Stars: 1
- Watchers: 0
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Flight Radar Real-Time: Um Pipeline de Dados
Este projeto é um pipeline de dados completo para ingestão, processamento, armazenamento e visualização de dados de voos comerciais em tempo real.
O objetivo é construir uma solução robusta e escalável, utilizando ferramentas modernas de Engenharia de Dados, simulando um ambiente de produção.
## 🚀 Tecnologias Utilizadas
- **Orquestração de Pipeline:** Apache Airflow
- **Processamento de Dados:** Apache Spark
- **Containerização:** Docker
- **Orquestração de Containers:** Kubernetes (K8s)
- **Visualização e Monitoramento:** Grafana
- **Banco de Dados:** PostgreSQL
- **Automação e CI/CD:** GitHub Actions