Diseño funcional - Descuentos

Objetivo

Construir y mantener la tabla GRUPO_COMERCIAL en la capa Bronze mediante un mecanismo incremental que compara la información proveniente de SQL Server con los datos existentes en Delta Lake, identificando inserts, updates y registros sin cambios, para garantizar la sincronización y actualización de la información.

Alcance

Dentro del Alcance

• Lectura de información fuente via JDBC.
• Comparación de registros contra información previamente almacenada en datasets.
• Identificación y clasificación de registros como:
  • Inserts.
  • Updates.
  • Unchanged.
• Consolidación de los resultados obtenidos.
• Actualización de la tabla destino mediante escritura en Delta.

Fuera del Alcance

• Procesos de enriquecimiento de información.
• Integración con dimensiones.

Contenido principal

Descripcion Funcional

El proceso job_discounts realiza una validación incremental entre la información proveniente de la fuente transaccional en SQL Server y los registros existentes en la tabla GRUPO_COMERCIAL.

A partir de esta comparación, se determina la operación requerida para cada registro con el objetivo de mantener actualizada la información disponible en la capa Bronze. Como resultado, los registros son clasificados como nuevos, modificados o sin cambios, para posteriormente consolidarse y persistirse nuevamente en la tabla destino.

Flujo Funcional

1. Lectura de los parámetros de ejecución definidos mediante widgets.
2. Extracción de información desde SQL Server utilizando JDBC.
3. Lectura de la tabla destino almacenada en Delta Lake.
4. Comparación entre los datasets fuente y destino.
5. Clasificación de registros en:
   • Nuevos registros (Insert).
   • Registros modificados (Update).
   • Registros sin cambios (Unchanged).
6. Consolidación de los resultados obtenidos.
7. Actualización de la tabla destino mediante escritura en modo overwrite.

Nota

Este documento describe el comportamiento funcional del proceso y sirve como referencia para comprender qué hace el pipeline, qué información consume y cuál es el resultado esperado de su ejecución, sin profundizar en los detalles de implementación técnica.

Artefactos relacionados

Artefacto	Descripción
Diseño Técnico - Descuentos	Documenta la arquitectura técnica, componentes y dependencias del proceso.
Fuentes - Descuentos	Documenta las fuentes de información consumidos por el proceso.
Operación - Descuentos	Describe los controles operativos y actividades de soporte del proceso.
Pipelines - Descuentos	Describe la secuencia de ejecución y procesamiento de datos.
Reglas de Negocio - Descuentos	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - Descuentos	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - Descuentos	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.