https://github.com/yracnet/de01-uargm
2024 uargm
https://github.com/yracnet/de01-uargm
Last synced: 2 days ago
JSON representation
2024 uargm
- Host: GitHub
- URL: https://github.com/yracnet/de01-uargm
- Owner: yracnet
- Created: 2024-08-18T15:12:33.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2024-09-03T23:04:58.000Z (about 1 year ago)
- Last Synced: 2025-02-19T12:55:52.968Z (8 months ago)
- Language: TSQL
- Size: 10.9 MB
- Stars: 0
- Watchers: 1
- Forks: 3
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Data Engineering - MDEISV2E3
Este documento detalla las tareas realizadas en el módulo "Data Engineering - MDEISV2E3", dividido por semanas. A lo largo del curso, se desarrollaron diferentes componentes relacionados con la ingeniería de datos, incluyendo la creación de un modelo de negocio, la implementación de un almacén de datos, el diseño de procesos ETL, y la construcción de un modelo OLAP.
## Semana 1: Presentación del Modelo de Negocio y Flujo de Datos
### Descripción:
En la primera semana, se presentó el modelo de negocio y se explicó el flujo de datos que se utilizará durante el proyecto. Se realizó un diagrama entidad-relación (ER) que muestra cómo los datos se relacionan entre sí en la base de datos principal.
### Archivos:
- **Diagrama ER:**
- **Script de Creación de Base de Datos:**
`semana1/step00-CreateDB.sql`
## Semana 2: Diseño e Implementación de un Almacén de Datos
### Descripción:
Durante la segunda semana, se diseñó e implementó un almacén de datos para almacenar información histórica de la empresa. El diseño se centró en un modelo multidimensional, desnormalizando el modelo entidad-relación original para adaptarlo a un enfoque orientado a hechos y dimensiones.
### Archivos:
- **Scripts de Creación y Población del Almacén de Datos:**
- `semana2/pubs-scripts`
- `semana2/pubsDW-scripts`
- `semana2/install.sql`
- **Backups:**
- `semana2/pubs.bak`
- `semana2/pubsDW.bak`
- **Imágenes:**
- **Modelo pubs:**
- **Modelo pubsDW:**
- **Documentación Adicional:**
`semana2/readme.txt`
## Semana 3: Diseño e Implementación de un Proceso ETL
### Descripción:
En la tercera semana, se diseñó e implementó un proceso ETL (Extract, Transform, Load) utilizando SQL Server Integration Services (SSIS). Este proceso se encargó de la integración y transformación de datos desde la base de datos transaccional hacia el almacén de datos.
### Archivos:
- **ETL Scripts:**
- `semana3/etl-pubs`
- `semana3/00-Modelo.png`
- `semana3/01-CreateSQLConection.png`
- `semana3/02-Clean.sql`
- `semana3/03-Changes.sql`
- `semana3/04-Restore.sql`
- **Backups:**
- `semana3/pubs.bak`
- `semana3/pubsDW.bak`
- **ETL Imágenes:**
- **Modelo ETL:**
- **Conexión SQL:**
- **ETL Categorías:**
- **ETL Clientes:**
- **ETL Empleados:**
- **ETL Órdenes Final:**
- **ETL Órdenes:**
- **ETL Productos:**
- **ETL Ciudad de Envío:**
- **ETL País de Envío:**
- **ETL Nombre de Envío:**
- **ETL Transportistas:**
- **ETL Región de Envío:**
- **ETL Proveedores:**
- **Log de Información:**
- `semana3/info.log`
## Semana 4: Proyecto Final - Modelo OLAP y Reportes en BI
### Descripción:
En la última semana, se diseñó e implementó un modelo OLAP utilizando SQL Server Analysis Services (SSAS). Además, se elaboraron reportes utilizando herramientas de BI para analizar los datos del modelo OLAP.
### Archivos:
- **Modelo OLAP y SSAS:**
- **Modelo pubs OLAP v2:**
- **Modelo BI Importado:**
- **Modelo SSAS:**
- **Despliegue del Modelo Tabular:**
- **Backups y Archivos Relacionados:**
- `semana4/pubs.bak`
- `semana4/pubsDW.bak`
- `semana4/pubsOLAP.abf`
- **Reportes BI:**
- **Reporte de Inicio:**
- **Desempeño de Ventas:**
- **Desempeño de Productos:**
- **Desempeño de Ventas por País:**
- **Desempeño de Clientes:**
- **Desempeño de Ventas por Categorías:**
- **Reporte de Productos - Cantidad Vendida:**
