Diseño técnico - DS_Comp_Categoria

Objetivo

Documentar el diseño técnico del proceso NB_Silver_DS_Comp_Categoria, describiendo la arquitectura, fuentes, staging, lógica de comparación, reglas de inserción y actualización, dependencias y persistencia de la dimensión snw_dim_comp_categoria.

Alcance

Dentro del alcance

• Identificación de fuentes de datos.
• Creación del staging temporal.
• Comparación entre la fuente y la dimensión existente.
• Identificación de registros nuevos y modificados.
• Generación de llaves surrogate.
• Integración de registros mediante unión de DataFrames.
• Persistencia del resultado mediante saveAsTable.

Contenido principal

Descripción general

El proceso NB_Silver_DS_Comp_Categoria se ejecuta como un notebook de Databricks orientado a la construcción y actualización de una dimensión.

El proceso toma como fuente la tabla TMP_ALP_BI_TIEMPO_EJECUCION_OC y utiliza la dimensión existente snw_dim_comp_categoria como referencia para comparar registros, identificar inserciones y actualizaciones, generar llaves surrogate y persistir el resultado final en Delta.

Arquitectura del proceso

Componente	Descripción
Notebook	NB_Silver_DS_Comp_Categoria
Tipo de objeto	Dimensión
Capa lógica	Silver
Nivel	DIM
Fuente analizada	NB_Silver_DS_Comp_Categoria.dbc
Comandos exportados	2
Widgets	No identificados
Staging temporal	Query_Categ_tiempo_ejecucion_oc
Outputs Delta	cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria

Dimensiones utilizadas

• No identificado en el DBC proporcionado.

Tablas migradas consumidas

• TMP_ALP_BI_TIEMPO_EJECUCION_OC

Modelo de datos

Campo	Valor
Fact principal	No aplica; proceso documentado como dimensión.
Dimensión principal	cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria
Dimensiones relacionadas	No identificadas
Llaves identificadas	CVE_CATEGORIA, ID_CATEGORIA

Relaciones Identificadas

Relaciones detectadas a partir de joins del DBC; la cardinalidad exacta debe validarse contra los datos fuente. Joins relevantes:

df = Qry_Dim_Comp_Compañia.alias("d").join(...) 

sin_cambio = Qry_Dim_Comp_Compañia.join(...)

Clasificación de objetos

Dimensiones documentadas

cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria

Tablas migradas consumidas

TMP_ALP_BI_TIEMPO_EJECUCION_OC

Flujo técnico

1. Lectura de fuentes, se leen las fuentes y tablas de referencia identificadas en el notebook:

   • TMP_ALP_BI_TIEMPO_EJECUCION_OC
   • cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria

2. Creación del staging, se genera el staging temporal:

   • Query_Categ_tiempo_ejecucion_oc

3. Comparación entre fuente y dimensión, se compara la dimensión existente contra el dataset fuente mediante join full.

4. Identificación de registros nuevos, se identifican registros nuevos cuando la llave de la dimensión destino no existe.

5. Identificación de registros modificados, se identifican registros modificados cuando campos descriptivos o de estatus difieren entre destino y fuente.

6. Generación de llave surrogate, para nuevos registros se genera una nueva llave surrogate incrementando el máximo valor existente de CVE_CATEGORIA mediante row_number.

7. Integración de resultados, los registros actualizados, insertados y/o nulos son integrados mediante unión de DataFrames.

8. Persistencia, el resultado final se persiste en Delta mediante saveAsTable

   • cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria

Diagrama de flujo técnico

Nota

• Frecuencia y workflow no especificados en el DBC salvo que se indique externamente.
• Metadata derivada del DBC; no se inventó lógica adicional.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Comp_Categoria	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Fuentes - DS_Comp_Categoria	Documenta las fuentes de información consumidos por el proceso.
Operación - DS_Comp_Categoria	Describe los controles operativos y actividades de soporte del proceso.
Pipelines - DS_Comp_Categoria	Describe la secuencia de ejecución y procesamiento de datos.
Reglas de Negocio - DS_Comp_Categoria	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_Comp_Categoria	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_Comp_Categoria	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.