Pipelines - DS Canal SIDEFF

Objetivo

Documentar el flujo de ejecución del proceso DS Canal SIDEFF, incluyendo notebook principal, parámetros, staging temporal, persistencia del resultado, celda de documentación para Databricks y configuración YAML identificada.

Alcance

Dentro del alcance

• Notebook principal del proceso.
• Parámetros identificados mediante widgets.
• Flujo paso a paso del pipeline,
• Staging temporal identificado.
• Output Delta generado por el proceso.
• Celda de documentación para Databricks.
• YAML del proceso.

Fuera del alcance

• Diseño funcional del proceso.
• Arquitectura técnica completa.
• Modelo de datos completo.
• Reglas de negocio detalladas.
• Runbook operativo.
• Validaciones de negocio no identificadas.
• Tablas migradas consumidas, ya que no se identifican en el DBC.

Contenido principal

Descripción general

Este documento describe el pipeline del proceso DS Canal SIDEFF, ejecutado mediante el notebook NB_Silver_DS_Canal(SIDEFF).

El flujo identificado contempla limpieza de caché, lectura de parámetros mediante widgets, lectura de fuentes o tablas de referencia, creación del staging temporal Dim_Canales y persistencia del resultado en cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff mediante saveAsTable.

Notebook principal

El proceso se ejecuta mediante el notebook:

• NB_Silver_DS_Canal(SIDEFF)

Parámetros de Ejecución

El notebook utiliza los siguientes widgets:

• w_StartDate
• w_EndDate
• w_catalog
• w_schema destiny
• w_schema origin

Flujo General

Flujo del Proceso Paso a Paso

Paso	Objeto / acción	Detalle
1	Limpieza de caché	Limpieza de cache Databricks.
2	Widgets	Lectura de parámetros mediante widgets: w_StartDate, w_EndDate, w_catalog, w_schema destiny, w_schema origin.
3	Lectura de fuentes	Lectura de fuentes/tablas de referencia identificadas en FROM/JOIN.
4	Dim_Canales	Creación de staging o vistas temporales: Dim_Canales.
5	saveAsTable	Persistencia del resultado en Delta mediante saveAsTable.

Staging Temporal

Staging	Descripción
Dim_Canales	Staging temporal identificado en el proceso.

Salida Principal

Objeto	Descripción
cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff	Output Delta generado por el proceso.

Celda para Databricks

# MAGIC %md
# MAGIC ## Resumen técnico del proceso: NB_Silver_DS_Canal_SIDEFF
# MAGIC
# MAGIC **Objetivo:** Construir y/o actualizar la dimensión DS Canal(SIDEFF) en Databricks, tomando como base únicamente la lógica definida en el DBC y persistiendo el resultado en cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff.
# MAGIC
# MAGIC **Inputs:** cat_master_alpura.sch_bronze_layer.snw_dim_canales
# MAGIC
# MAGIC **Outputs:** cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff
# MAGIC
# MAGIC **Flujo:** Limpieza de cache Databricks. | Lectura de parámetros mediante widgets: w_EndDate, w_StartDate, w_catalog, w_schema destiny, w_schema origin. | Lectura de fuentes/tablas de referencia identificadas en FROM/JOIN. | Creación de staging o vistas temporales: Dim_Canales. | Persistencia del resultado en Delta mediante saveAsTable.
# MAGIC
# MAGIC **Dependencias:** /Workspace/Shared/Alpura_DEV/00_Framework/NB_FRAMEWORK_LIBRARIES, cat_master_alpura.sch_bronze_layer.snw_dim_canales
# MAGIC
# MAGIC **Consideraciones:** Validar valores de widgets antes de ejecutar: w_EndDate, w_StartDate, w_catalog, w_schema destiny, w_schema origin.
# MAGIC
# MAGIC **Documentación:** {sharepoint_link}

YAML del Proceso:

process_name: NB_Silver_DS_Canal_SIDEFF
notebook_name: NB_Silver_DS_Canal(SIDEFF)
layer: Silver
documentation_level: DIM
sources:
- cat_master_alpura.sch_bronze_layer.snw_dim_canales
dimensions:
- cat_master_alpura.sch_bronze_layer.snw_dim_canales
migrated_tables: []
outputs:
- cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff
staging_tables:
- Dim_Canales
keys_identified:
- CVE_CANAL
- ID_CANAL
business_rules:
- Se aplican limpiezas TRIM sobre campos de negocio para homologar cadenas.
- Se aplican valores por defecto mediante COALESCE/coalesce para evitar nulos en campos seleccionados.
sharepoint:
  file_name: Documentacion_NB_Silver_DS_Canal_SIDEFF_v1.docx
  suggested_path: /DataPlatform/Databricks/Silver/NB_Silver_DS_Canal_SIDEFF/
notes:
- Frecuencia y workflow no especificados en el DBC salvo que se indique externamente.
- Metadata derivada del DBC; no se inventó lógica adicional.

Dependencias

Las dependencias técnicas del proceso se documentan en Diseño Técnico - DS Canal SIDEFF.

Consideraciones de Ejecución

• Validar valores de widgets antes de ejecutar:
  • w_StartDate
  • w_EndDate
  • w_catalog
  • w_schema origin
  • w_schema destiny
• Validar disponibilidad de cat_master_alpura.sch_bronze_layer.snw_dim_canales.
• Validar permisos antes de persistir el resultado mediante saveAsTable.
• No se identifica workflow asociado en el DBC.
• No se identifica frecuencia de ejecución en el DBC.

Artefactos relacionados

Artefacto	Descripción
Diseño Funcional - DS_Canal_SIDEFF	Describe el objetivo funcional, alcance y descripción general del proceso
Diseño Técnico - DS_Canal_SIDEFF	Documenta arquitectura, modelo de datos, dependencias y consideraciones técnicas.
Fuentes - DS_Canal_SIDEFF	Documenta la fuente de datos utilizada por el proceso.
Operación - DS_Canal_SIDEFF	Documenta consideraciones operativas, Runbook L1 y soporte.
Reglas de Negocio - DS_Canal_SIDEFF	Contiene las reglas identificadas para el procesamiento.
Tablas - DS_Canal_SIDEFF	Documenta dimensión principal, objetos relacionados y llaves identificadas.
Validaciones - DS_Canal_SIDEFF	Describe revisiones operativas y criterios de validación identificados.

Próximos pasos

• Confirmar workflow asociado al proceso.
• Confirmar frecuencia de ejecución.
• Validar permisos de ejecución y escritura para la persistencia mediante saveAsTable.