Pipelines - DS_Att_Precio_Zona

Objetivo

Documentar el flujo de procesamiento del pipeline NB_Silver_DS_Att_Precio_Zona, describiendo las etapas identificadas en la documentación analizada para la construcción y actualización de la dimensión snw_dim_att_precio_zona.

Alcance

Dentro del alcance

• Lectura de las tablas fuente.
• Construcción del staging temporal.
• Comparación entre fuente y dimensión.
• Identificación de registros nuevos y modificados.
• Flujo del proceso
• Generación de llaves surrogate.
• Consolidación de resultados.
• Persistencia de la dimensión.

Contenido principal

Descripción general

El pipeline inicia con la lectura de la tabla as4_mprxz, construye un staging temporal y posteriormente compara la información contra la dimensión existente snw_dim_att_precio_zona.

Como resultado de esta comparación se identifican registros nuevos y modificados, se generan nuevas llaves surrogate cuando corresponde y finalmente se persiste la dimensión actualizada mediante saveAsTable.

Etapas del pipeline

1. Lectura de la Fuente Principal: cat_master_alpura.sch_bronze_layer.as4_mprxz
2. Construcción del Staging temporal, denominado mprxz este objeto es utilizado como base para las comparaciones posteriores.
3. Lectura de la Dimensión Existente, posteriormente se consulta la dimensión cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona.
4. Comparación de Información, el proceso compara la información proveniente del staging con la dimensión existente mediante un join full, a partir de esta comparación se identifican:
   • Registros nuevos.
   • Registros modificados.
5. Generación de Nuevos Registros, cuando un registro no existe en la dimensión destino:
   • Se genera un nuevo valor para CVE_ZONAPREC.
   • Se asignan las fechas correspondientes.
   • El registro es preparado para su inserción.
6. Actualización de Registros, cuando la información presenta cambios respecto a la dimensión existente:
   • Se conserva la llave surrogate existente.
   • Se actualiza FECHA_MODIFICA.
   • El registro es preparado para persistirse nuevamente.
7. Consolidación, los datasets resultantes son integrados antes de realizar la escritura final.
8. Escritura Final, la dimensión resultante se persiste mediante saveAsTable sobre la tabla: cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona

Flujo del pipeline

Configuración del Pipeline

La metadata estructurada del proceso se encuentra en el siguiente código YAML:

process_name: NB_Silver_DS_Att_Precio_Zona
notebook_name: NB_Silver_DS_Att_Precio_Zona
layer: Silver
documentation_level: DIM
sources:
- cat_master_alpura.sch_bronze_layer.as4_mprxz
- cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona
dimensions: []
migrated_tables:
- cat_master_alpura.sch_bronze_layer.as4_mprxz
outputs:
- cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona
staging_tables:
- mprxz
keys_identified:
- CVE_ZONAPREC
- ID_NUMPREZONA
business_rules:
- Se compara la dimensión existente contra el dataset fuente mediante join full para identificar inserts y updates.
- Se identifican registros nuevos cuando la llave de la dimensión destino no existe.
- Se identifican cambios cuando campos descriptivos o de estatus difieren entre destino y fuente.
- Se genera nueva llave surrogate incrementando el máximo CVE existente con row_number.
- Se conserva o asigna FECHA_CREACION para registros nuevos o existentes según la lógica del notebook.
- Se actualiza FECHA_MODIFICA con la fecha actual en formato yyyyMMdd cuando hay cambios.
- Se integran registros actualizados, insertados y/o nulos mediante unión de DataFrames.
sharepoint:
  file_name: Documentacion_NB_Silver_DS_Att_Precio_Zona_v1.docx
  suggested_path: /DataPlatform/Databricks/Silver/NB_Silver_DS_Att_Precio_Zona/
notes:
- Frecuencia y workflow no especificados en el DBC salvo que se indique externamente.
- Metadata derivada del DBC; no se inventó lógica adicional.

Nota

Este documento describe el flujo del pipeline identificado para el proceso NB_Silver_DS_Att_Precio_Zona con base en la documentación analizada.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Att_Precio_Zona	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Diseño Técnico - DS_Att_Precio_Zona	Documenta la arquitectura técnica, componentes y dependencias del proceso.
Fuentes - DS_Att_Precio_Zona	Documenta las fuentes de información consumidos por el proceso.
Operación - DS_Att_Precio_Zona	Describe los controles operativos y actividades de soporte del proceso.
Reglas de Negocio - DS_Att_Precio_Zona	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_Att_Precio_Zona	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_Att_Precio_Zona	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.