Diseño técnico - Descuentos

Objetivo

Documentar la implementación técnica del proceso job_discounts, describiendo la arquitectura, componentes involucrados y flujo de procesamiento utilizados para construir y mantener la tabla GRUPO_COMERCIAL mediante un mecanismo incremental entre datos fuente en SQL Server y datos existentes en Delta Lake.

La solución permite identificar registros nuevos, actualizados y sin cambios para mantener sincronizada la información almacenada.

Alcance

Dentro del Alcance

• Configuración y lectura de parámetros de ejecución
• Consumo de información desde SQL Server mediante JDBC.
• Lectura de información existente almacenada en Delta.
• Comparación tecnica entre datasets.
• Identificación de registros:
  • INSERT
  • UPDATE
  • UNCHANGED
• Consolidación de resultados.
• Escritura de la información final sobre la tabla Delta destino.

Fuera del Alcance

• Procesos de enriquecimiento.
• Modelado dimensional.

Contenido principal

Descripción general

El proceso se ejecuta dentro del entorno de Databricks, utilizando notebooks parametrizados mediante widgets para controlar su ejecución. La lógica implementa una estrategia de carga incremental basada en la comparación entre la información proveniente de SQL Server y los datos previamente almacenados en Delta Lake. Posteriormente, se identifican los registros que representan nuevas inserciones, actualizaciones o aquellos que permanecen sin cambios.

Como resultado, la información procesada es consolidada y almacenada nuevamente en la tabla destino en Delta Lake, garantizando la consistencia y actualización continua de los datos dentro de la plataforma.

Componentes técnicos

Componente	Tecnología	Descripción
Widgets	Databricks	Parametrizar la ejecución del notebook.
Fuente origen	SQL Server	Proveer la información fuente del proceso.
Conectividad	JDBC	Permitir la extracción de datos desde SQL Server.
Almacenamiento	Delta Lake	Mantener la tabla destino actualizada.

Flujo técnico

1. Lectura de parámetros, se obtienen los parámetros necesarios para la ejecución mediante widgets configurados en el notebook, parámetros identificados:
   • StartDate
   • EndDate
   • catalog
   • schemas
2. Extracción de datos fuente, se establece conexión hacia SQL Server mediante JDBC para obtener la información de la tabla:
   • SIDEFF.DBO.GRUPO_COMERCIAL
3. Lectura de la tabla destino, se consulta la tabla Delta existente utilizada como referencia para la comparación incremental:
   • cat_pruebas_alpura.sch_bronze_layer.sql_GRUPO_COMERCIAL
4. Comparación incremental, se realizan operaciones de comparación entre la información fuente y la tabla destino con el objetivo de detectar diferencias entre ambos conjuntos de datos.

Diagrama de flujo técnico

Consideraciones técnicas

1. El proceso depende de la disponibilidad de SQL Server.
2. Los registros sin cambios no generan modificaciones innecesarias.
3. La escritura final se realiza mediante estrategia overwrite.
4. La tabla Delta destino debe existir previamente.

Nota

El proceso evita escrituras innecesarias sobre Delta Lake mediante la validación previa de cambios en los registros procesados.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - Descuentos	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Fuentes - Descuentos	Documenta las fuentes de información consumidos por el proceso.
Operación - Descuentos	Describe los controles operativos y actividades de soporte del proceso.
Pipelines - Descuentos	Describe la secuencia de ejecución y procesamiento de datos.
Reglas de Negocio - Descuentos	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - Descuentos	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - Descuentos	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.