Pipelines - DS_Channel

Objetivo

Documentar el flujo de procesamiento del pipeline NB_Silver_DS_Channel, describiendo las etapas identificadas en la documentación analizada para la construcción y actualización de la dimensión snw_dim_canal.

Alcance

Dentro del alcance

• Lectura de parámetros de ejecución.
• Lectura de las tablas fuente.
• Comparación entre la fuente y la dimensión existente.
• Identificación de registros nuevos y modificados.
• Flujo del proceso
• Generación de llaves surrogate.
• Consolidación de la información.
• Persistencia de la dimensión.

Contenido principal

Descripción general

El pipeline inicia con la lectura de los parámetros de ejecución y de las tablas requeridas por el proceso.

Posteriormente se realizan comparaciones entre la fuente y la dimensión existente para identificar registros nuevos y modificados. Finalmente, la información consolidada se persiste en la dimensión snw_dim_canal mediante saveAsTable.

Etapas del pipeline

1. Parametrización, el proceso inicia con la lectura de los widgets configurados para la ejecución.
   • w_EndDate
   • w_StartDate
   • w_catalog
   • w_schema destiny
   • w_schema origin
2. Limpieza del Entorno, el proceso realiza una limpieza de caché antes de iniciar las transformaciones.
3. Lectura de la Fuente Principal, se consulta la tabla utilizada como fuente del proceso.
   • {v_catalog}.{v_schema_origin}.as4_mcansopn
4. Lectura de la Dimensión, se consulta la dimensión existente, esta tabla es utilizada como referencia para detectar registros nuevos y modificados.
   • {v_catalog}.{v_schema_origin}.snw_dim_canal
5. Comparación de Información se compara la información proveniente de la fuente con la dimensión existente mediante un join full. Durante esta etapa se identifican:
   • Registros nuevos.
   • Registros modificados.
6. Generación de Registros Nuevos, cuando un registro no existe en la dimensión:
   • Se genera una nueva llave surrogate (CVE_CANAL).
   • Se asignan las fechas correspondientes.
   • El registro queda preparado para inserción.
7. Actualización de Registros, cuando un registro existente presenta cambios:
   • Se conserva la llave surrogate existente.
   • Se actualiza FECHA_MODIFICA.
   • El registro queda preparado para persistirse nuevamente.
8. Consolidación, los registros resultantes son integrados mediante unión de DataFrames antes de la escritura final.
9. Persistencia, el resultado final se almacena mediante: saveAsTable sobre la tabla:
   • {v_catalog}.{v_schema_origin}.snw_dim_canal

Flujo del pipeline

Configuración del Pipeline

La metadata estructurada del proceso se encuentra en el siguiente código YAML:

process_name: NB_Silver_DS_Channel
notebook_name: NB_Silver_DS_Channel
layer: Silver
documentation_level: DIM
sources:
- '{v_catalog}.{v_schema_origin}.as4_mcansopn'
- '{v_catalog}.{v_schema_origin}.snw_dim_canal'
dimensions: []
migrated_tables:
- '{v_catalog}.{v_schema_origin}.as4_mcansopn'
outputs:
- '{v_catalog}.{v_schema_origin}.snw_dim_canal'
staging_tables: []
keys_identified:
- CVE_CANAL
- ID_CANAL
business_rules:
- Se compara la dimensión existente contra el dataset fuente mediante join full para identificar inserts y updates.
- Se identifican registros nuevos cuando la llave de la dimensión destino no existe.
- Se identifican cambios cuando campos descriptivos o de estatus difieren entre destino y fuente.
- Se genera nueva llave surrogate incrementando el máximo CVE existente con row_number.
- Se conserva o asigna FECHA_CREACION para registros nuevos o existentes según la lógica del notebook.
- Se actualiza FECHA_MODIFICA con la fecha actual en formato yyyyMMdd cuando hay cambios.
- Se integran registros actualizados, insertados y/o nulos mediante unión de DataFrames.
- Se aplican limpiezas TRIM sobre campos de negocio para homologar cadenas.
- Se aplican valores por defecto mediante COALESCE/coalesce para evitar nulos en campos seleccionados.
sharepoint:
  file_name: Documentacion_NB_Silver_DS_Channel_v1.docx
  suggested_path: /DataPlatform/Databricks/Silver/NB_Silver_DS_Channel/
notes:
- Frecuencia y workflow no especificados en el DBC salvo que se indique externamente.
- Metadata derivada del DBC; no se inventó lógica adicional.

Nota

Este documento describe el flujo del pipeline identificado para el proceso NB_Silver_DS_Channel con base en la documentación analizada.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Channel	Documenta la arquitectura funcional, componentes y dependencias del proceso.
Diseño Técnico - DS_Channel	Documenta la arquitectura técnica, componentes y dependencias del proceso.
Fuentes - DS_Channel	Documenta las fuentes de información consumidos por el proceso.
Operación - DS_Channel	Describe los controles operativos y actividades de soporte del proceso.
Reglas de Negocio - DS_Channel	Describe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_Channel	Documenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_Channel	Documenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.