https://github.com/jorgemaciel/randomuser_me

Um pipeline de dados que orquestra a ingestão e o processamento de dados da api randomuser.me usando Apache Airflow, Python, Apache Kafka, Apache Zookeeper. Todos os componentes são conteinerizados para fácil implantação e escalabilidade.
https://github.com/jorgemaciel/randomuser_me

airflow docker docker-compose kafka postgresql zookeeper

Last synced: 3 months ago
JSON representation

Um pipeline de dados que orquestra a ingestão e o processamento de dados da api randomuser.me usando Apache Airflow, Python, Apache Kafka, Apache Zookeeper. Todos os componentes são conteinerizados para fácil implantação e escalabilidade.

• Host: GitHub
• URL: https://github.com/jorgemaciel/randomuser_me
• Owner: jorgemaciel
• Created: 2024-07-16T18:48:40.000Z (almost 2 years ago)
• Default Branch: master
• Last Pushed: 2024-07-19T12:57:07.000Z (almost 2 years ago)
• Last Synced: 2025-03-26T08:27:48.922Z (over 1 year ago)
• Topics: airflow, docker, docker-compose, kafka, postgresql, zookeeper
• Language: Python
• Homepage:
• Size: 730 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
# Consumindo dados da api randomuser.me

## Arquitetura do pipeline





O pipeline é desenhado com os seguintes componentes:

- **Data Source**: Usamos a API `randomuser.me` para gerar dados aleatórios do usuário para nosso pipeline.

- **Apache Airflow**: Responsável por orquestrar o pipeline e armazenar os dados buscados em um banco de dados PostgreSQL.

- **Apache Kafka and Zookeeper**: Usado para transmitir dados do PostgreSQL para o mecanismo de processamento.

- **Control Center and Schema Registry**: Ajuda no monitoramento e gerenciamento de esquema de nossos streams Kafka.