Pipelines - Descuentos
Objetivo
Describir la secuencia de actividades ejecutadas por el pipeline job_discounts para el procesamiento incremental de la tabla GRUPO_COMERCIAL, desde la obtención de los parámetros de ejecución hasta la persistencia final de la información en Delta Lake.
Alcance
Dentro del alcance
- Descripción del flujo general del pipeline.
- Identificación de las etapas que conforman el flujo de procesamiento.
- Lectura de información fuente y destino.
- Comparación incremental de registros.
- Clasificación y consolidación.
- Escritura final sobre la tabla Delta.
Fuera del Alcance
- Configuración detallada de infraestructura.
- Implementación del código fuente.
- Procedimientos operativos o de monitoreo.
Contenido principal
Descripción general
El pipeline job_discounts implementa una arquitectura ETL orientada al procesamiento incremental de datos. Durante su ejecución, se obtiene la configuración requerida, se consumen los datos provenientes de la fuente origen y la compara contra la información previamente almacenada en Delta Lake.
Como resultado de esta comparación, los registros son clasificados según el tipo de operación requerida (INSERT, UPDATE o UNCHANGED), posteriormente consolidados y finalmente persistidos para mantener actualizada la tabla destino.
Etapas del pipeline
| Paso | Etapa | Descripción |
|---|---|---|
| 1 | Lectura de widgets | Obtiene los parámetros requeridos para la ejecución del proceso. |
| 2 | Lectura de fuente JDBC | Extrae la información desde SQL Server mediante JDBC. |
| 3 | Lectura de tabla destino | Consulta la información existente en la tabla Delta. |
| 4 | Comparación con joins | Compara fuente y destino mediante joins para identificar diferencias. |
| 5 | Clasificación de registros | Determina registros INSERT, UPDATE y UNCHANGED. |
| 6 | Consolidación | Realiza la unión de los datasets procesados evitando duplicidades. |
| 7 | Escritura overwrite | Persiste la información consolidada mediante estrategia overwrite. |
Flujo del pipeline
Lógica del procesamiento
El proceso utiliza una estrategia incremental basada en la comparación entre la información fuente y la información previamente almacenada.
A partir de dicha comparación, los registros son clasificados como nuevos, modificados o sin cambios. Posteriormente, los conjuntos de datos resultantes son consolidados para generar una única versión actualizada de la tabla destino, evitando la generación de registros duplicados.
Consideraciones del pipeline
- Ejecución
- Clasificación
- Consolidación
- Actualización
La ejecución del pipeline sigue una secuencia lineal, donde cada etapa depende del resultado exitoso de la anterior.
La clasificación de registros se realiza mediante comparaciones entre la información fuente y destino para identificar el tipo de operación requerido.
La consolidación final integra los datasets generados evitando duplicidades antes de la persistencia.
La actualización de la tabla destino se realiza mediante una estrategia de escritura en modo overwrite.
Artefactos relacionados
| Artefacto | Descripción |
|---|---|
| Diseño Funcional - Descuentos | Documenta la arquitectura funcional, componentes y dependencias del proceso. |
| Diseño Técnico - Descuentos | Documenta la arquitectura técnica, componentes y dependencias del proceso. |
| Fuentes - Descuentos | Documenta las fuentes de información consumidos por el proceso. |
| Operación - Descuentos | Describe los controles operativos y actividades de soporte del proceso. |
| Reglas de Negocio - Descuentos | Describe las reglas apliacadas durante la conformación de la dimensión. |
| Tablas - Descuentos | Documenta las tablas origen, intermedias y destino involucradas. |
| Validaciones - Descuentos | Documenta controles y validaciones asociados al proceso. |
Próximos pasos
No se identifican próximos pasos específicos dentro del alcance de este documento.