Operación - DS_Channel
Objetivo
Documentar los aspectos operativos del proceso NB_Silver_DS_Channel, incluyendo su ejecución, dependencias, monitoreo básico y acciones de atención inicial ante incidencias.
Alcance
Dentro del alcance
- Configuración de parámetros de ejecución.
- Ejecución manual del notebook.
- Identificación de dependencias operativas.
- Detección básica de fallos.
- Acciones iniciales de revisión.
- Escalamiento operativo.
Contenido principal
Descripción general
La documentación indica que el proceso NB_Silver_DS_Channel construye y actualiza la dimensión snw_dim_canal utilizando la información de la tabla as4_mcansopn.
Durante la ejecución se leen los parámetros de configuración mediante widgets, se compara la información fuente con la dimensión existente para identificar registros nuevos y modificados y finalmente se actualiza la dimensión mediante saveAsTable.
Información Operativa
| Elemento | Valor |
|---|---|
| Nombre del proceso | NB_Silver_DS_Channel |
| Que hace | Construir y/o actualizar la dimensión DS Channel en Databricks, tomando como base únicamente la lógica definida en el DBC y persistiendo el resultado en {v_catalog}.{v_schema_origin}.snw_dim_canal. |
| Tipo de proceso | Construcción / actualización de dimensión |
| Tabla destino | snw_dim_canal |
| Plataforma de ejecución | Databricks |
| Workflow asociado | No especificado en el DBC. |
| Frecuencia | No especificado en el DBC. |
Nota: Esta tabla representa los detalles operativos del proceso de
NB_Silver_DS_Channel, Runbook L1
Procedimiento de Ejecución Manual
- Configurar parámetros, capturar los valores requeridos para los widgets de ejecución.
w_EndDatew_StartDatew_catalogw_schema destinyw_schema origin
- Confirmar que las tablas requeridas por el proceso se encuentren disponibles.
- Ejecutar el notebook completo respetando la secuencia definida en el proceso.
- Confirmar que la ejecución finalice sin errores.
- Revisar que los objetos esperados sean generados durante la ejecución.
Detección de Fallos
Para una deteccion de fallos se establece que una revisión operativa puede considerar los siguientes puntos:
- Revisar estado del job/notebook
- Errores de SQL/PySpark
- Permisos de lectura/escritura
- Conteo de registros y discrepancias en llaves.
Acciones Básicas
Ante una incidencia, se recomienda realizar las siguientes revisiones:
- Validar parámetros.
- Verificar la disponibilidad de fuentes.
- Validar permisos sobre catálogo/esquema.
- Verificar la existencia de tablas destino.
- Reintentar la ejecución controladamente.
Escalamiento
Escalar a equipo de Ingeniería o Arquitectura de Datos cuando se presente alguna de las siguientes situaciones:
- Falla la lectura fuente
- Falla en el join de homologación
- Falla en la escritura Delta
- Falla la validación de negocio.
Consideraciones operativas
- Validar valores de widgets antes de ejecutar:
w_EndDate,w_StartDate,w_catalog,w_schema destiny,w_schema origin. - Validar permisos de escritura y existencia del catálogo/esquema destino antes de ejecutar saveAsTable.
- Revisar volumen de comparación full join para evitar degradación de performance.
Este documento refleja únicamente los aspectos operativos identificados en el proceso NB_Silver_DS_Channel.
Artefactos relacionados
| Artefacto | Descripción |
|---|---|
| Diseño Funcional - DS_Channel | Documenta la arquitectura funcional, componentes y dependencias del proceso. |
| Diseño Técnico - DS_Channel | Documenta la arquitectura técnica, componentes y dependencias del proceso. |
| Fuentes - DS_Channel | Documenta las fuentes de información consumidos por el proceso. |
| Pipelines - DS_Channel | Describe la secuencia de ejecución y procesamiento de datos. |
| Reglas de Negocio - DS_Channel | Describe las reglas apliacadas durante la conformación de la dimensión. |
| Tablas - DS_Channel | Documenta las tablas origen, intermedias y destino involucradas. |
| Validaciones - DS_Channel | Documenta controles y validaciones asociados al proceso. |
Próximos pasos
No se identifican próximos pasos específicos dentro del alcance de este documento.