Ecosyste.ms: Awesome

An open API service indexing awesome lists of open source software.

awesome-apache-airflow-br

Lista de referencias sobre Apache airflow
https://github.com/masuta16/awesome-apache-airflow-br

Codigo Fonte
Documentação
Pagina do confluence
![Twitter Follow
Area de trabalho no Slack
Tutorial de como instalar Apache Airflow na IBM Cloud - Tutorial de deploy feito de forma rápida e fácil na nuvem IBM com IBM [Bitnami Charts](https://github.com/bitnami/charts)
Três formas de executar o airflow no Kubernetes - [Tim van de Keer](https://www.linkedin.com/in/tim-van-de-keer-bb5a1966) explica por diversas formas como fazer o deploy do Airflow no Kubernetes.
Deploy Multi Tier gratuito do Apache Airflow na Azure - Um template gratuito ARM ou Azure Resource Manager feito pela Bitnami oferecendo uma solução de um clique para o deployment para estudos de caso.
KubernetesExecutor Helm Chart - Um Helm Chart mais simples usando o KubernetesExecutor para uma experiencia nativa com o Kubernetes ou k8s e que também serve para complementar
KubernetesExecutor Docker Image
Stable Celery Helm Chart
Puckel's Docker Image - Feita pelo usuário do twitter [@Puckel_](https://twitter.com/Puckel_) é
Operador customizado do Kubernetes para fazer deploy do Airflow - Controlador customizado do Kubernetes(tambem chamado de padrão de operador) para fazer o deploy do Airflow no Kubernetes.
airflow-pipeline - Container docker do Airflow que vem pre-configurado para Spark e Hadoop. Ele pode ser retirado de ``datagovsg/airflow-pipeline``.
aws-airflow-stack - Um cluster de deploy baseado na AWS com o CeleryExecutor. Ele faz o deploy apos alguns cliques com CloudFormation
kube-airflow - Esse repositório contém uma imagem Docker Airflow (que parece ter sido baseada no trabalho do Puckel) e a definição recente do serviço Kubernetes. O repositório do usuário [mumoshu](https://github.com/mumoshu) não foi recentemente atualizado mas foram feitos muitos forks que podem ser baseados em mais releases recentes
airflow-on-kubernetes
airflow-k8s-executor-on-GKE
Google Kubernetes Engine
airflow-cookbook - Receitas de como fazer o deploy do Airflow
Executando Airflow com Apache Mesos
Mesos
Integrando Apache Airflow com Apache Ambari - [Mykola Mykhalov](https://www.linkedin.com/in/mykola-mykhalov-9079a8107/) explica como usar o [Apache Ambari](https://ambari.apache.org/) para configurar e fazer o deploy de uma instancia do Airflow.
Platforma Astronomer
Imagem Docker Bitnami Airflow - Uma imagem docker segura e atualizada para Airflow fornecida por Bitnami
Imagem Docker de Agendador do Bitnami Airflow - Uma imagem docker segura e atualizada para o agendador de tarefas do Airflow fornecida por Bitnami
Bitnami Airflow Worker Docker image - Uma imagem segura e atualizada para o Airflow Worker fornecida pela Bitnami. Um deployment com CeleryExecutor esta disponivel [aqui](https://github.com/bitnami/bitnami-docker-airflow-worker/blob/master/docker-compose.yml).
Distribuição & deploy no Apache Airflow via arquivos Python PEX - Repositorio exemplo com passos para distribuir e fazer o deploy do Apache Airflow com arquivos PEX.
Introduzindo KEDA para o Airflow - Como usar o KEDA para habilitar workers celery baseados no armazenamento de dados da base de metadados do Airflow.
Airflow-Component - Instalador leve da arquitetura de referência federated Airflow-Airflow (RabbitMQ) nos nós calculados.
Métricas de monitoramento do Apache Airflow - Uma serie em duas partes feita por [maxcotec](https://maxcotec.com) em como você pode utilizar as métricas existentes do Airflow para monitorar seu deploy da dashboard do Grafana via Prometheus. Também aprenda como criar métricas customizadas
Introdução ao Airflow - Um tutorial em serie web por [maxcotec](https://maxcotec.com) para usuários iniciantes e intermediários do Apache Airflow
ETL com Apache Airflow para analise de dados em dados transacionais - thagana-4920b5181/) cobre um caso pratico de fazer o processo de ETL usando Apache Airflow usando um comercio dummy para transações, usuário e dados de produtos. Os dados são entregues via uma API flask.
Comece construindo pipelines de dados melhores com Apache Airflow - Naman Gupta cobre o básico do Airflow e seus conceitos .
Template de repositório do Airflow
Como Apache Airflow distribui jobs nos workers Celery
Submissão remota do Spark para o YARN executando no EMR - [Azhaguselvan](https://github.com/tamizhgeek) explica como submeter jobs do Spark para os cluster existentes EMR com Airflow
Executando Airflow no topo do Apache Mesos - data/mesos-airflow-docker/) by [Agraj Mangal](https://twitter.com/agrajm) tem uma revisão rápida de como executar Airflow no Apache Mesos
Dustin Stansbury
Além de CRON uma introdução para os sistemas de gerenciamento em workflow
Porque Quizlet escolheu Apache Airflow para executar workflow de dados
Entendendo os conceitos chave do Apache Airflow
Como Quizlet usa o Apache Airflow na pratica
Integrando Apache Airflow com Databricks - Esse tutorial é focado especificamente nas soluções com Spark do databricks ele tem uma visão razoável do básico do Airflow e demonstra como uma solução third party pode rapidamente integrar com Airflow
Tutorial do Apache Airflow 2.0 - Esse artigo discute conceitos básicos de como ficar por trás de Airflow e discute os problemas que ele resolve.
Testando e debugando Apache Airflow - Artigo explicando como aplicar teste unitário, mocking e debugging para o código do Airflow.
Iniciando desenvolvimento de workflows com Apache Airfloww - Esse breve tutorial de introdução cobre como criar um pipeline de dados e processar o workflow usando DAG, operadores, sensor, usar Xcoms para comunicar entre operadores.
Iniciando com Airflow + Plataforma Google Cloud + Docker - Introcdução passo a passo por [Jayce Jiang](https://medium.com/@junjiejiang94).
Como desenvolver um pipeline de dados no Airflow por teste TDD(test-driven development) - Aprenda como construir um pipeline de dados usando TDD passo a passo e no fim como configurar um simples workflow CLI usando Github actions.
Gerenciamento de pacotes de Python com DAG do Airflow - Gerenciar pacotes Python com mais de 100 dependências em DAGs pode se tornar trabalhoso. É difícil rastrear quais pacotes são usado para cada DAG, e mais difícil limpar durante a remoção ou atualização da DAG. Aprenda como o KubernetesPodOperator e o DockerOperator pode consertar isso.
Gerenciamento de Dag do Airflow & versionamento - Gestione DAGs eficientemente com o processo de lançamento usando Git e submódulos
Testando no Airflow parte 2 - [Chandu Kavar](https://twitter.com/chandukavar) e [Sarang Shinde](https://www.linkedin.com/in/sarang-shinde-219a4873/) explicam testes de integração e testes end to end para pipeline.
Atualizando e escalando Airflow em Robinhood - [Abishek Ray](https://www.linkedin.com/in/abhishek-ray-29210145/) descreve como Robinhood abordou o upgrade de sua produção Airflow enquanto minimizava o tempo de inatividade.
Nos todos estamos usando Airflow errado e como podemos consertar isso - [Jessica Laughlin](https://www.jldlaughlin.com/) da [Bluecore](https://www.bluecore.com/) compartilha tres problemas de engenharia associados com o design do Airflow e como resolver isso usando [KubernetesPodOperator](https://github.com/apache/airflow/blob/v1-10-stable/airflow/contrib/operators/kubernetes_pod_operator.py) em dois padrões de design.
Começando com linhagem de dados - [Germain Tanguy](https://www.linkedin.com/in/germain-tanguy/) de [Dailymotion](https://www.dailymotion.com/) compartilha um protótipo de linhagem de dados integrado com Apache Airflow.
Colaboração entre engenheiros de dados analistas de dados e cientistas de dados - [Germain Tanguy](https://www.linkedin.com/in/germain-tanguy/) de [Dailymotion](https://www.dailymotion.com/) mostra como lançar uma produção eficiente para colaboração com Apache Airflow.
Usando o operador Docker do Airflow com o repositório de container da Amazon - [Brian Campbell](https://www.linkedin.com/in/bvcampbell3) da [Lucid](https://www.lucidchart.com/) oferece dicas de como integrar o serviço da AWS [ECR](https://aws.amazon.com/ecr/) com o DockerOperator do Airflow.
Airflow: dicas menos conhecidas truques e melhores praticas - [Kaxil Naik](https://www.linkedin.com/in/kaxil/) explica as menos conhecidas ainda muito uteis dicas de melhores praticas em usar Airflow.
boundary-layer:Workflows declarativos do Airflow - [Kevin McHale](https://www.linkedin.com/in/mchalek) explica como usar uma camada de projeto open source que gera a DAG do Airflow com workflows declarativos.
Testando no Airflow parte 1 - [Chandu Kavar](https://twitter.com/chandukavar) explica diferentes características de testes no Airflow. Isso inclui testes de validação, testes de definição da DAG e testes unitários
Melhorando a segurança de interface de usuário do Airflow - [Joy Gao](https://twitter.com/joygao) da WePay explica a necessidade da para a função de controles baseados em regra (RBAC) e como ela introduziu isso para o Airflow.
Como criar um workflow em Apache Airflow para rastrear surtos de doenças na India - [Vinayak Mehta](https://twitter.com/vortex_ape) explica como [SocialCops](https://socialcops.com/) usa o Airflow para fazer coleta de dados do ministro da saúde e casos de família para gerar dados derivados de possíveis surtos de doenças.
Airflow, engenharia de meta dados, e uma plataforma de dados para a maior democracia do mundo - [Vinayak Mehta](https://twitter.com/vortex_ape) fala sobre identificar padrões de engenharia de dados(engenharia de meta dados)para automatizar a geração de DAG e como isso ajudou [SocialCops](https://socialcops.com/) para empoderar DISHA, uma plataforma de dados nacionais onde os MPs indianos e monitorar MLAs no progresso de 42 níveis de esquemas nacionais.
Lições aprendidas no Airflow-ing - part-2-lessons-learned-793fa3c0841e) - [Nehil Jain](https://twitter.com/nehiljain) escreveu uma serie de duas partes que cobre o valor dos agendadores de workflow, algumas boas praticas e pontos que ele encontra enquanto esta trabalhando com Airflow. O [segundo artigo](https://medium.com/snaptravel/airflow-part-2-lessons-learned-793fa3c0841e) em particular inclui muitas dicas de produção.
Porque Robinhood usa Airflow - [Vineet Goel](https://twitter.com/vineetik) explica porque uma plataforma de troca financeira [Robinhood](https://robinhood.com/) começou com Airflow sobre work schedulers alternativos.
O que nós aprendemos migrando de Cron para Airflow - [Katie Macias](https://medium.com/@katiemacias) descreve a jornada do engenheiro de dados [VideoAmp](https://www.videoamp.com/) de cron para Airflow.
Under the Hood: Construindo AIR em Qubole - [Sreenath Kamath](https://www.linkedin.com/in/sreenath-kamath-66a1b970/) e [Rajat Venkatesh](https://twitter.com/vrajat) escrevem sobre construir a [Qubole](https://www.qubole.com/)'s [plataforma de descoberta de dados insights e recomendações](https://www.qubole.com/blog/building-qdsair-infrastructure/) sobre o Airflow.
Airflow porque não esta funcionando - TL;DR Airflow’s SubDagOperator causes deadlocks - Se aprofunde no conceito de solução de problemas com a DAG do Airflow com boas dicas de como diagnosticar problemas.
Apache Airflow como um agendador externo para sistemas distribuidos - [Arunkumar](https://medium.com/@rako) sugere usar Airflow como um agendador externo simples para um sistema distribuído.
Como Sift treina milhares de modelos usando o Apache Airflow - Resumo da estratégia de deployment da [Sift Science](https://siftscience.com/)para as pipelines de modelos de machine learning.
Apache Airflow no Pandora - [Ace Haidrey](https://www.linkedin.com/in/acehaidrey/) discute porque Pandora escolheu Airflow e oferece um resumo de seu deployment e a infraestrutura por trás disso.
Lições da frente de engenharia de dados em Chicago com Airflow - [Alison Stanton](https://twitter.com/alison985) oferece uma lista de dicas de como evitar pegadinhas nos jobs do Airflow.
Inferno dos dados: 7 círculos de inferno de teste de dados com Airflow - A equipe Wholesale Banking Advanced Analytics em ING detalha como eles torturam testes das DAGs do Airflow antes do deployment.
Teste de dados com repositório do Airflow
Checadores de qualidade de dados - [Antoine Augusti](https://twitter.com/AntoineAugusti) descreve como o framework [drivy](https://www.drivy.co.uk/) tem sido aplicado sobre o Airflow para testar o dataset deles para completude, pontualidade, distinção, validades e acurácia
Construindo o data warehouse da WePay usando BigQuery e Airflow - O inestimável [Chris Riccomini](https://twitter.com/criccomini) descreve como [WePay](https://go.wepay.com/), um dos primeiros adeptos do Airflow integrou para o ambiente deles o [Google Cloud Compute](https://cloud.google.com/compute/).
Usando Apache Airflow para criar uma infraestrutura de dados no setor publico - Apesar de um tom de pitch de vendas, esse artigo de blog descreve como [ARGO Labs](http://www.argolabs.org/), uma organização sem fins lucrativos, utiliza Airflow para fazer ETL nos dados do setor publico.
ETL with airflow - Os princípios do core de ETL e muitos exemplos docker end to end incluindo Kimball, data vault no Hive e alguns exemplos mais simples.
Como agregar dados para BigQuery usando Apache Airflow - Exemplo de como usar Airflow para a Big Query do Google para aprimorar uma dashboard Data Studio.
Produzindo ML com workflows no twitter - Post de como e porque twitter usa o Airflow para ML workflows incluindo operadores customizados e uma custom UI embarcada na interface web do Airflow.3
Executando Apache Airflow no Lyft - Este tutorial mostra uma overview de como o Lyft opera com Apache Airflow na produção(monitoramento, customização, etc).
Fazendo deploy do Apache Airflow na Azure para construir e executar pipelines de dados - Esse texto fala como executar Airflow na Azure.
O Zen de Python e o Apache Airflow - Post de blog de como o Zen do python pode ser aplicado para o codigo do Airflow.
Deixando Apache Airflow mais seguro com UI e DAG Level Acess - Post de blog sobre o nivel de acesso da DAG do Airflow e como Lyft usa ele.
Atualizando Airflow com Zero inatividade - Um artigo detalhado de como fazer deploy do Airflow com zero de inatividade.
Building a Production-Level ETL Pipeline Platform Using Apache Airflow - Esse post descreve como a equipe de gestão de sistemas no Cerner usa Airflow
Usando setup minimo do Airflow no Kubernetes (Local, EKS, AKS) - Um artigo de como fazer deploy do Airflow no Kubernetes local, AWS EKS e Azure AKS com um setup minimalista.
Explicando o Airflow DAG monorepo - Esse post descreve como fazer gerenciamento de suporte das DAGs do Airflow de multplos repositorios git pelo S3.
Improving Performance of Apache Airflow Scheduler - Uma historia de uma aventura que permitiu [Databand](https://databand.ai/) a acelerar o tempo de parsing da DAG em 10 vezes
Como SSENSE está usando Apache Airflow para fazer linhagem de dados na AWS - O texto explora os temas fundamentais de arquitetura e governança de um data lake na AWS usando Apache Airflow.
Monitorando Airflow com Prometheus, StatsD e Grafana - Um guia de como agrupar dashboards operacionais para um cluster de produção por [Databand](http://databand.ai)e conseguir uma visibilidade de alto nivel no Airflow.
Orquestração de tarefas complexas em Hurb com Apache Airflow - Este post mostra como [Hurb](https://hurb.com) utiliza Apache Airflow para orquestrar tarefas complexas e como ele alavanca a criação dinamica da DAG para melhorar a velocidade do desenvolvimento.
Automatizando exportação de dados de CrateDB do S3 com Apache Airflow
Implementação de politica de retenção de dados com CrateDB e Apache Airflow
Ingesting NYC Taxi Data From S3 Into CrateDB - Descreve como construir uma ingestão em pipeline numa base de dados no Airflow carregando arquivos CSV do S3 para [CrateDB](https://crate.io/).

Programming Languages

Python 7 Shell 3 Jinja 1 Ruby 1 Go 1 Dockerfile 1 Smarty 1

Keywords

airflow 6 kubernetes 3 apache-airflow 2 aws 2 airflow-cookbook 2 docker 1 docker-airflow 1 management 1 scheduler 1 task 1 workflow 1 airflow-operator 1 crd 1 kubernetes-controller 1 kubernetes-operator 1 workflow-engine 1 airflow-cluster 1 aws-cloudformation 1 chef-cookbook 1 celery-workers 1 federated 1 rabbitmq-cluster 1 salt 1 aks 1 azure 1 eks 1