https://github.com/ploomber/hacktoberfest-2023-project
Init template for data pipeline project
https://github.com/ploomber/hacktoberfest-2023-project
chainlit data-engineering docker etl fastapi haystack jupysql pipelines ploomber rag sql
Last synced: 7 months ago
JSON representation
Init template for data pipeline project
- Host: GitHub
- URL: https://github.com/ploomber/hacktoberfest-2023-project
- Owner: ploomber
- License: apache-2.0
- Created: 2023-09-20T22:26:52.000Z (about 2 years ago)
- Default Branch: main
- Last Pushed: 2023-10-05T17:31:40.000Z (about 2 years ago)
- Last Synced: 2025-01-13T04:27:28.745Z (9 months ago)
- Topics: chainlit, data-engineering, docker, etl, fastapi, haystack, jupysql, pipelines, ploomber, rag, sql
- Language: Python
- Homepage:
- Size: 1.12 MB
- Stars: 2
- Watchers: 3
- Forks: 1
- Open Issues: 2
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Hacktoberfest 2023 project: building ETL and RAG pipelines with open source
## Set up / Configuración
There should be one GitHub repository per team. / Debería haber un repositorio de GitHub por equipo.
**Ensure all team members have completed all steps in the [set up](setup.md) document.**
**Asegúrate de que todos los miembros del equipo hayan completado todos los pasos en el [documento de configuración](setup-espanol.md).**
## Theme of your project / Tema de tu proyecto
1. Extract Transform Load (ETL) pipeline with an analytics component / Pipeline de Extracción, Transformación y Carga (ETL) con un componente analítico
2. Extract Transform Load (ETL) pipeline with a machine learning (ML) component / Pipeline de Extracción, Transformación y Carga (ETL) con un componente de aprendizaje automático (ML)
3. Retrieval Augmented Generation (RAG) pipeline for question answering / Pipeline de Generación Aumentada por Recuperación (RAG) para responder preguntas
4. Retrieval Augmented Generation (RAG) pipeline for chatbot / Pipeline de Generación Aumentada por Recuperación (RAG) para chatbot
## Description / Descripción
Provide a description of your project. Include the data sources you are using, the tools you are using, and the expected outcome of your project.
Proporcione una descripción de su proyecto. Incluya las fuentes de datos que está utilizando, las herramientas que está utilizando y el resultado esperado de su proyecto.
## Data sources / Fuentes de datos
Provide a detailed description of your data sources. Please ensure you work only with open source data. Include a link to the data you are working with.
Agregue una descripción detallada de sus fuentes de datos. Asegúrese de trabajar solo con datos de código abierto. Incluya un enlace a los datos con los que está trabajando.
**Do not upload data to GitHub** / **No suba datos a GitHub**
## Methods / Métodos
Describe the methods you are using. Include a description of the tools you are using.
Describa los métodos que está utilizando. Incluya una descripción de las herramientas que está utilizando.
## User interface your project will have / Interfaz de usuario que tendrá su proyecto
Describe the user interface your project will have. Include a description of the tools you are using.
Options:
1. FastAPI application
2. Chainlit application
3. Voila dashboard
Describa la interfaz de usuario que tendrá su proyecto. Incluya una descripción de las herramientas que está utilizando.
Opciones:
1. Aplicación FastAPI
2. Aplicación Chainlit
3. Tablero Voila
## Team members/ Miembros del equipo
Add the names and GitHub IDs of your team members here.
Agregue los nombres y las ID de GitHub de los miembros de su equipo aquí.