Diseño técnico - DS Canal SIDEFF
Objetivo
Documentar el diseño técnico del proceso DS Canal SIDEFF, incluyendo arquitectura, objetos principales, staging temporal, modelo de datos, dependencias técnicas, llaves identificadas y consideraciones técnicas asociadas a la construcción de la dimensión cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff.
Alcance
Dentro del alcance
- Arquitectura técnica del proceso NB_Silver_DS_Canal(SIDEFF).
- Identificación de notebook, capa lógica, widgets y staging temporal.
- Dimensión principal generada por el proceso.
- Fuente y dimensión relacionada identificada.
- Modelo de datos documentado.
- Llaves identificadas.
- Columnas / alias relevantes detectados.
- Dependencias técnicas del proceso.
- Consideraciones técnicas identificadas.
Fuera del alcance
- Diseño funcional del proceso.
- Flujo operativo detallado.
- Runbook L1.
- Reglas de negocio no presentes en el notebook.
- Validaciones de negocio no identificadas.
- Tablas migradas consumidas, ya que no se identifican en el DBC.
- Cardinalidad exacta de relaciones.
Contenido principal
Descripción general
Este documento concentra el diseño técnico del proceso DS Canal SIDEFF, documentado como proceso de dimensión en capa lógica Silver.
El proceso se ejecuta mediante el notebook NB_Silver_DS_Canal(SIDEFF), utiliza como fuente cat_master_alpura.sch_bronze_layer.snw_dim_canales, genera el staging temporal Dim_Canales y persiste le resultado en cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff mediante saveAsTable.
Arquitectura del Proceso.
| Elemento | Valor |
|---|---|
| Notebook Databricks | NB_Silver_DS_Canal(SIDEFF) |
| Proceso | NB_Silver_DS_Canal(SIDEFF) |
| Tipo de objeto | Dimensión |
| Capa lógica | Silver |
| Nivel | DIM |
| Comandos exportados | 7 |
| Staging temporal | Dim_Canales |
| Output Delta | cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff |
Flujo Técnico General
Widgets Identificados
El proceso utiliza los siguientes widgets:
w_StartDatew_EndDatew_catalogw_schema originw_schema destiny
Modelo de Datos
| Campo | Valor |
|---|---|
| Fact principal | No aplica; proceso documentado como dimensión. |
| Dimensión principal | cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff |
| Dimensiones relacionadas | cat_master_alpura.sch_bronze_layer.snw_dim_canales |
| Relaciones | Relaciones detectadas a partir de joins del DBC; la cardinalidad exacta debe validarse contra los datos fuente. Joins relevantes: No se identificaron JOIN explícitos. |
| Llaves identificadas | CVE_CANAL, ID_CANAL |
Columnas / Alias Relevantes Detectados
Las columnas o alias relevantes detectados son:
CVE_CANID_CANDESCANSTSCAN
Dependencias Técnicas
| Dependencia | Tipo | Observación |
|---|---|---|
/Workspace/Shared/Alpura_DEV/00_Framework/NB_FRAMEWORK_LIBRARIES | Framework | Dependencia utilizada por el proceso. |
cat_master_alpura.sch_bronze_layer.snw_dim_canales | Fuente / dimensión relacionada | Fuente utilizada para construir la dimensión snw_dim_canal_sideff. |
Output Principal
| Objeto | Tipo | Descripción |
|---|---|---|
cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff | Dimensión / Output Delta | Resultado persistido por el proceso mediante saveAsTable. |
Consideraciones Técnicas
- Validar valores de widgets antes de ejecutar:
w_StartDatew_EndDatew_catalogw_schema originw_schema destiny
- Validar permisos de escritura antes de ejcutar
saveAsTable. - Validar existencia del catálogo y esquema destino antes de ejecutar
saveAsTable. - Validar permisos sobre fuentes y outputs.
- No se identifican joins explícitos.
- No se identifican tablas migradas consumidas.
- No se documentan ni expone lógica no presente en el DBC.
Artefactos relacionados
| Artefacto | Descripción |
|---|---|
| Diseño Funcional - DS_Canal_SIDEFF | Describe el objetivo funcional, alcance y descripción general del proceso |
| Fuentes - DS_Canal_SIDEFF | Documenta la fuente de datos utilizada por el proceso. |
| Operación - DS_Canal_SIDEFF | Documenta consideraciones operativas, Runbook L1 y soporte. |
| Pipelines - DS_Canal_SIDEFF | Describe la secuencia de ejecución del proceso. |
| Reglas de Negocio - DS_Canal_SIDEFF | Contiene las reglas identificadas para el procesamiento. |
| Tablas - DS_Canal_SIDEFF | Documenta dimensión principal, objetos relacionados y llaves identificadas. |
| Validaciones - DS_Canal_SIDEFF | Describe revisiones operativas y criterios de validación identificados. |
Próximos pasos
- Validar la cardinalidad exacta contra los datos fuente.
- Validar owner técnico del proceso.
- Validar permisos sobre la fuente
cat_master_alpura.sch_bronze_layer.snw_dim_canales. - Validar permisos de escritura sobre
cat_master_alpura.sch_bronze_layer.snw_dim_canal_sideff. - Confirmar si existe documentación adicional sobre relaciones no explícitas en el DBC.