Diseño técnico - DS_Att_Precio_Zona

Objetivo

Documentar el diseño técnico del proceso NB_Silver_DS_Att_Precio_Zona, describiendo la arquitectura, fuentes, staging, reglas de comparación, lógica de inserción y actualización, dependencias y salida Delta identificadas.

Alcance

Dentro del alcance

• Documentación del notebook NB_Silver_DS_Att_Precio_Zona.
• Creación del staging temporal mprxz.
• Comparación entre dataset fuente y dimensión destino.
• Identificación de registros nuevos y modificados.
• Generación de llave surrogate.
• Integración de registros mediante unión de DataFrames.
• Persistencia del resultado mediante saveAsTable.

Contenido principal

Descripción general

El proceso NB_Silver_DS_Att_Precio_Zona se ejecuta como un notebook de Databricks orientado a la construcción y/o actualización de una dimensión.

El proceso toma como fuente la tabla as4_mprxz y utiliza la dimensión existente snw_dim_att_precio_zona como referencia para comparar registros, identificar inserciones y actualizaciones, generar llaves surrogate y persistir el resultado final en Delta.

Arquitectura del proceso

Componente	Descripción
Notebook	NB_Silver_DS_Att_Precio_Zona
Tipo de objeto	Dimensión
Capa lógica	Silver
Nivel	DIM
Fuente analizada	NB_Silver_DS_Att_Precio_Zona.dbc
Comandos exportados	6
Widgets	No identificados
Staging temporal	mprxz
Output Delta	cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona

Dimensiones utilizadas

• No identificado en el DBC proporcionado.

Tablas migradas consumidas

• cat_master_alpura.sch_bronze_layer.as4_mprxz

Modelo de datos

Campo	Valor
Fact principal	No aplica; proceso documentado como dimensión.
Dimensión principal	cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona
Dimensiones relacionadas	No identificadas
Relaciones	Relaciones detectadas a partir de joins del DBC; la cardinalidad exacta debe validarse contra los datos fuente. Joins relevantes: df = Qry_Dim_att_zona.alias("d").join(
Llaves identificadas	CVE_ZONAPREC, ID_NUMPREZONA

Clasificación de objetos

Dimensiones documentadas

cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona

Tablas migradas consumidas

cat_master_alpura.sch_bronze_layer.as4_mprxz

Flujo técnico

1. Limpieza de caché, el proceso inicia con limpieza de caché en Databricks.

2. Lectura de fuentes, se leen las fuentes y tablas de referencia identificadas en el notebook:

   • cat_master_alpura.sch_bronze_layer.as4_mprxz
   • cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona

3. Creación de staging, se genera el staging temporal: mprxz

4. Comparación entre fuente y dimensión se aplican joins para comparar, homologar o enriquecer la dimensión.

5. Identificación de registros nuevos, se identifican registros nuevos cuando la llave de la dimensión destino no existe.

6. Identificación de registros modificados, se identifican registros modificados cuando campos descriptivos o de estatus difieren entre destino y fuente.

7. Generación de llave surrogate Para nuevos registros se genera una nueva llave surrogate incrementando el máximo valor existente de CVE con row_number.

8. Manejo de fechas, se conserva o asigna la lógica de fechas siguiente:

   Campo	Regla
   FECHA_CREACION	Se conserva o asigna para registros nuevos o existentes según la lógica del notebook.
   FECHA_MODIFICA	Se actualiza con la fecha actual en formato yyyyMMdd cuando hay cambios.

9. Integración de resultados, se integran registros actualizados, insertados y/o nulos mediante unión de DataFrames.

10. Persistencia, el resultado final se persiste en Delta mediante saveAsTable sobre la tabla: cat_master_alpura.sch_bronze_layer.snw_dim_att_precio_zona

Diagrama de flujo técnico

Consideraciones Técnicas

• No se identificaron widgets en el notebook analizado.
• La frecuencia de ejecución no se encuentra especificada en el DBC.

Nota

Este documento describe el diseño técnico identificado para el proceso NB_Silver_DS_Att_Precio_Zona.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Att_Precio_Zona	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Fuentes - DS_Att_Precio_Zona	Documenta las fuentes de información consumidos por el proceso.
Operación - DS_Att_Precio_Zona	Describe los controles operativos y actividades de soporte del proceso.
Pipelines - DS_Att_Precio_Zona	Describe la secuencia de ejecución y procesamiento de datos.
Reglas de Negocio - DS_Att_Precio_Zona	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_Att_Precio_Zona	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_Att_Precio_Zona	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.