Pipelines - DS_Comp_Categoria

Objetivo

Documentar el flujo de procesamiento del pipeline NB_Silver_DS_Comp_Categoria, describiendo las etapas identificadas en la documentación analizada para la construcción y actualización de la dimensión snw_dim_comp_categoria.

Alcance

Dentro del alcance

• Lectura de las tablas fuente.
• Construcción del staging temporal.
• Comparación entre la fuente y la dimensión existente.
• Identificación de registros nuevos y modificados.
• Generación de llaves surrogate.
• Consolidación de la información.
• Persistencia de la dimensión.

Contenido principal

Descripción general

El pipeline inicia con la lectura de las tablas requeridas por el proceso y la generación del staging temporal Query_Categ_tiempo_ejecucion_oc.

Posteriormente se realizan comparaciones entre la fuente y la dimensión existente para identificar registros nuevos y modificados. Finalmente, la información consolidada se persiste en la dimensión snw_dim_comp_categoria mediante saveAsTable.

Etapas del pipeline

1. Lectura de la Fuente Principal, se consulta la tabla utilizada como fuente del proceso TMP_ALP_BI_TIEMPO_EJECUCION_OC
2. Construcción del Staging, se indica la creación del siguiente staging temporal: Query_Categ_tiempo_ejecucion_oc
3. Lectura de la Dimensión, posteriormente se consulta la dimensión existente. cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria
4. Comparación de Información, el proceso compara la información proveniente del staging con la dimensión existente mediante un join full. Durante esta etapa se identifican:
   • Registros nuevos.
   • Registros modificados.
5. Generación de Registros Nuevos, cuando un registro no existe en la dimensión:
   • Se genera una nueva llave surrogate (CVE_CATEGORIA).
   • El registro queda preparado para inserción.
6. Actualización de Registros, cuando un registro existente presenta cambios:
   • Se conserva la llave surrogate existente.
   • El registro queda preparado para actualización.
7. Consolidación, los registros resultantes son integrados mediante unión de DataFrames antes de la escritura final.
8. Persistencia, el resultado final se almacena mediante saveAsTable sobre la tabla: cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria

Flujo del pipeline

Configuración del Pipeline

La metadata estructurada del proceso se encuentra en el siguiente código YAML:

process_name: NB_Silver_DS_Comp_Categoria
notebook_name: NB_Silver_DS_Comp_Categoria
layer: Silver
documentation_level: DIM
sources:
- TMP_ALP_BI_TIEMPO_EJECUCION_OC
- cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria
dimensions: []
migrated_tables:
- TMP_ALP_BI_TIEMPO_EJECUCION_OC
outputs:
- cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria
staging_tables:
- Query_Categ_tiempo_ejecucion_oc
keys_identified:
- CVE_CATEGORIA
- ID_CATEGORIA
business_rules:
- Se compara la dimensión existente contra el dataset fuente mediante join full para identificar inserts y updates.
- Se identifican registros nuevos cuando la llave de la dimensión destino no existe.
- Se identifican cambios cuando campos descriptivos o de estatus difieren entre destino y fuente.
- Se genera nueva llave surrogate incrementando el máximo CVE existente con row_number.
- Se integran registros actualizados, insertados y/o nulos mediante unión de DataFrames.
sharepoint:
  file_name: Documentacion_NB_Silver_DS_Comp_Categoria_v1.docx
  suggested_path: /DataPlatform/Databricks/Silver/NB_Silver_DS_Comp_Categoria/
notes:
- Frecuencia y workflow no especificados en el DBC salvo que se indique externamente.
- Metadata derivada del DBC; no se inventó lógica adicional.

Nota

Este documento describe el flujo del pipeline identificado para el proceso NB_Silver_DS_Comp_Categoria con base en la documentación analizada.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Comp_Categoria	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Diseño Técnico - DS_Comp_Categoria	Documenta la arquitectura técnica, componentes y dependencias del proceso.
Fuentes - DS_Comp_Categoria	Documenta las fuentes de información consumidos por el proceso.
Operación - DS_Comp_Categoria	Describe los controles operativos y actividades de soporte del proceso.
Reglas de Negocio - DS_Comp_Categoria	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_Comp_Categoria	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_Comp_Categoria	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.