Skip to main content

Operación - DS_Channel

Objetivo

Documentar los aspectos operativos del proceso NB_Silver_DS_Channel, incluyendo su ejecución, dependencias, monitoreo básico y acciones de atención inicial ante incidencias.

Alcance

Dentro del alcance

  • Configuración de parámetros de ejecución.
  • Ejecución manual del notebook.
  • Identificación de dependencias operativas.
  • Detección básica de fallos.
  • Acciones iniciales de revisión.
  • Escalamiento operativo.

Contenido principal

Descripción general

La documentación indica que el proceso NB_Silver_DS_Channel construye y actualiza la dimensión snw_dim_canal utilizando la información de la tabla as4_mcansopn.

Durante la ejecución se leen los parámetros de configuración mediante widgets, se compara la información fuente con la dimensión existente para identificar registros nuevos y modificados y finalmente se actualiza la dimensión mediante saveAsTable.

Información Operativa

ElementoValor
Nombre del procesoNB_Silver_DS_Channel
Que haceConstruir y/o actualizar la dimensión DS Channel en Databricks, tomando como base únicamente la lógica definida en el DBC y persistiendo el resultado en {v_catalog}.{v_schema_origin}.snw_dim_canal.
Tipo de procesoConstrucción / actualización de dimensión
Tabla destinosnw_dim_canal
Plataforma de ejecuciónDatabricks
Workflow asociadoNo especificado en el DBC.
FrecuenciaNo especificado en el DBC.

Nota: Esta tabla representa los detalles operativos del proceso de NB_Silver_DS_Channel, Runbook L1

Procedimiento de Ejecución Manual

  1. Configurar parámetros, capturar los valores requeridos para los widgets de ejecución.
    • w_EndDate
    • w_StartDate
    • w_catalog
    • w_schema destiny
    • w_schema origin
  2. Confirmar que las tablas requeridas por el proceso se encuentren disponibles.
  3. Ejecutar el notebook completo respetando la secuencia definida en el proceso.
  4. Confirmar que la ejecución finalice sin errores.
  5. Revisar que los objetos esperados sean generados durante la ejecución.

Detección de Fallos

Para una deteccion de fallos se establece que una revisión operativa puede considerar los siguientes puntos:

  1. Revisar estado del job/notebook
  2. Errores de SQL/PySpark
  3. Permisos de lectura/escritura
  4. Conteo de registros y discrepancias en llaves.

Acciones Básicas

Ante una incidencia, se recomienda realizar las siguientes revisiones:

  1. Validar parámetros.
  2. Verificar la disponibilidad de fuentes.
  3. Validar permisos sobre catálogo/esquema.
  4. Verificar la existencia de tablas destino.
  5. Reintentar la ejecución controladamente.

Escalamiento

Escalar a equipo de Ingeniería o Arquitectura de Datos cuando se presente alguna de las siguientes situaciones:

  • Falla la lectura fuente
  • Falla en el join de homologación
  • Falla en la escritura Delta
  • Falla la validación de negocio.

Consideraciones operativas

  • Validar valores de widgets antes de ejecutar: w_EndDate, w_StartDate, w_catalog, w_schema destiny, w_schema origin.
  • Validar permisos de escritura y existencia del catálogo/esquema destino antes de ejecutar saveAsTable.
  • Revisar volumen de comparación full join para evitar degradación de performance.
Nota

Este documento refleja únicamente los aspectos operativos identificados en el proceso NB_Silver_DS_Channel.

Artefactos relacionados

ArtefactoDescripción
Diseño Funcional - DS_ChannelDocumenta la arquitectura funcional, componentes y dependencias del proceso.
Diseño Técnico - DS_ChannelDocumenta la arquitectura técnica, componentes y dependencias del proceso.
Fuentes - DS_ChannelDocumenta las fuentes de información consumidos por el proceso.
Pipelines - DS_ChannelDescribe la secuencia de ejecución y procesamiento de datos.
Reglas de Negocio - DS_ChannelDescribe las reglas apliacadas durante la conformación de la dimensión.
Tablas - DS_ChannelDocumenta las tablas origen, intermedias y destino involucradas.
Validaciones - DS_ChannelDocumenta controles y validaciones asociados al proceso.

Próximos pasos

No se identifican próximos pasos específicos dentro del alcance de este documento.