https://github.com/tigureis/modelo_de_pipeline_com_spark_no_databricks
Este projeto simula um pipeline de streaming de dados utilizando Spark Structured Streaming e Delta Lake em um ambiente Databricks. O objetivo é demonstrar como processar dados em tempo real, mesmo quando a fonte de dados é estática e fornecida por meio de comandos SQL.
https://github.com/tigureis/modelo_de_pipeline_com_spark_no_databricks
databricks-runtime delta-lake spark-structured-streaming sql
Last synced: 4 months ago
JSON representation
Este projeto simula um pipeline de streaming de dados utilizando Spark Structured Streaming e Delta Lake em um ambiente Databricks. O objetivo é demonstrar como processar dados em tempo real, mesmo quando a fonte de dados é estática e fornecida por meio de comandos SQL.
- Host: GitHub
- URL: https://github.com/tigureis/modelo_de_pipeline_com_spark_no_databricks
- Owner: tigureis
- Created: 2025-02-14T06:29:39.000Z (over 1 year ago)
- Default Branch: main
- Last Pushed: 2025-02-14T06:40:37.000Z (over 1 year ago)
- Last Synced: 2025-02-14T07:31:21.127Z (over 1 year ago)
- Topics: databricks-runtime, delta-lake, spark-structured-streaming, sql
- Language: Jupyter Notebook
- Homepage:
- Size: 10.7 KB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0