Operación - DS_Comp_Categoria
Objetivo
Documentar los aspectos operativos del proceso NB_Silver_DS_Comp_Categoria, incluyendo su ejecución, dependencias, monitoreo básico y acciones de atención inicial ante incidencias, con base en la información identificada en la documentación analizada.
Alcance
Dentro del alcance
- Ejecución manual del notebook.
- Identificación de dependencias operativas.
- Detección básica de fallos.
- Acciones iniciales de revisión.
- Escalamiento operativo.
Contenido principal
Descripción general
El proceso NB_Silver_DS_Comp_Categoria construye y actualiza la dimensión snw_dim_comp_categoria utilizando como fuente principal la tabla TMP_ALP_BI_TIEMPO_EJECUCION_OC.
Durante la ejecución se genera el staging temporal Query_Categ_tiempo_ejecucion_oc, se compara la información fuente con la dimensión existente para identificar registros nuevos y modificados y finalmente se actualiza la dimensión mediante saveAsTable.
Información Operativa
| Elemento | Valor |
|---|---|
| Nombre del proceso | NB_Silver_DS_Comp_Categoria |
| Qué hace | Construir y/o actualizar la dimensión DS Comp Categoria en Databricks, tomando como base únicamente la lógica definida en el DBC y persistiendo el resultado en cat_master_empresaconfidencial.sch_bronze_layer.snw_dim_comp_categoria. |
| Tipo de proceso | Construcción / actualización de dimensión |
| Tabla destino | snw_dim_comp_categoria |
| Plataforma de ejecución | Databricks |
| Workflow asociado | No especificado en el DBC |
| Frecuencia | No especificada en el DBC |
Nota: Esta tabla representa los detalles operativos del proceso de
NB_Silver_DS_Comp_Categoria, Runbook L1
Procedimiento de Ejecución Manual
Ejecutar el notebook manualmente en Databricks, capturando widgets cuando aplique y validando que las fuentes estén disponibles.
Procedimiento de Ejecución Manual
- Capturar widgets cuando aplique
- Validar dependencias y confirmar que las fuentes estén disponibles.
- Ejecutar el notebook completo respetando la secuencia definida en el proceso.
- Confirmar que la ejecución finalice sin errores.
- Revisar que los objetos esperados sean generados durante la ejecución.
Detección de Fallos
Para una deteccion de fallos se establece que una revisión operativa puede considerar los siguientes puntos:
- Revisar estado del job/notebook
- Errores de SQL/PySpark
- Permisos de lectura/escritura
- Conteo de registros y discrepancias en llaves.
Acciones Básicas
Ante una incidencia, se recomienda realizar las siguientes revisiones:
- Validar parámetros.
- Verificar la disponibilidad de fuentes.
- Validar permisos sobre catálogo/esquema.
- Verificar la existencia de tablas destino.
- Reintentar la ejecución controladamente.
Escalamiento
Escalar a equipo de Ingeniería o Arquitectura de Datos cuando se presente alguna de las siguientes situaciones:
- Falla la lectura fuente
- Falla en el join de homologación
- Falla en la escritura Delta
- Falla la validación de negocio.
Consideraciones Operativas
- Validar permisos de escritura y existencia del catálogo/esquema destino antes de ejecutar saveAsTable.
- Revisar volumen de comparación full join para evitar degradación de performance.
Este documento refleja únicamente los aspectos operativos identificados en el proceso NB_Silver_DS_Comp_Categoria.
Artefactos relacionados
| Artefacto | Descripción |
|---|---|
| Diseño Funcional - DS_Comp_Categoria | Documenta la arquitectura funcional, componentes y dependencias del proceso. |
| Diseño Técnico - DS_Comp_Categoria | Documenta la arquitectura técnica, componentes y dependencias del proceso. |
| Fuentes - DS_Comp_Categoria | Documenta las fuentes de información consumidos por el proceso. |
| Pipelines - DS_Comp_Categoria | Describe la secuencia de ejecución y procesamiento de datos. |
| Reglas de Negocio - DS_Comp_Categoria | Describe las reglas apliacadas durante la conformación de la dimensión. |
| Tablas - DS_Comp_Categoria | Documenta las tablas origen, intermedias y destino involucradas. |
| Validaciones - DS_Comp_Categoria | Documenta controles y validaciones asociados al proceso. |
Próximos pasos
No se identifican próximos pasos específicos dentro del alcance de este documento.