Skip to main content

Diseño funcional - DS Client

Objetivo​

Describir funcionalmente el proceso DS Cliente, cuyo propósito es construir y/o actualizar la dimensión cat_master_alpura.sch_bronze_layer.snw_dim_clientes en Databricks.

El proceso toma como base la lógica definida en el notebook NB_Silver_DS_Client y persiste el resultado en cat_master_alpura.sch_bronze_layer.snw_dim_clientes.

Alcance​

Dentro del alcance​

  • Documentación funcional del proceso NB_Silver_DS_Client.
  • Construcción y/o actualización de la dimensión cat_master_alpura.sch_bronze_layer.snw_dim_clientes.
  • Uso de parámetros mediante widgets.
  • Uso de fuentes y tablas de referencia identificadas en FROM / JOIN.
  • Uso de staging temporal TEMP_CLI y TEMP_CLIENTES.
  • Aplicación de joins para comparar, homologar o enriquecer la dimensión.
  • Separación de registros nuevos para inserción.
  • Separación de registros modificados para actualización.
  • Persistencia del resultado en Delta mediante saveAsTable.

Fuera del alcance.​

  • Definición de workflow asociado.
  • Definición de frecuencia de ejecución.
  • Reglas no presentes en el notebook.
  • Validaciones de negocio no especificadas.
  • Cardinalidad exacta de relaciones.
  • Detalle técnico completo de dependencias.
  • Runbook operativo completo.

Contenido principal​

Descripción general​

Este documento describe funcionamiento el proceso DS Client, documentado como proceso de dimensión en capa lógica Silver.

El proceso construye y/o actualiza la dimensión cat_master_alpura.sch_bronze_layer.snw_dim_clientes a partir de fuentes AS400 migradas, dimensiones existentes y tablas de referencia identificadas en el notebook NB_Silver_DS_Client.

A nivel funcional, el proceso contempla lectura de parámetros, preparación de staging temporal, comparación contra la dimensión existente, identificación de registros nuevos y modificados, enriquecimiento mediante joins y persistencia del resultado en Delta.

Descripción Funcional del Proceso​

El proceso DS Client tiene como finalidad construir y/o actualizar la dimensión de clientes en Databricks.

La dimensión principal generada por el proceso es:

  • cat_master_alpura.sch_bronze_layer.snw_dim_clientes.

El notebook principal identificado es:

  • NB_Silver_DS_Client.

Elementos Funcionales Identificados​

ElementoDescripción
ProcesoNB_Silver_DS_Client
NotebookNB_Silver_DS_Client
Tipo de objetoDimensión
Capa lógicaSilver
Nivel de documentaciónDIM
Staging temporalTEMP_CLI, TEMP_CLIENTES
Output principalcat_master_alpura.sch_bronze_layer.snw_dim_clientes
Método de persistenciasaveAsTable

Parámetros Identificados​

El proceso utiliza los siguientes widgets:

  • w_StartDate
  • w_EndDate
  • w_catalog
  • w_schema origin
  • w_schema destiny

Comportamiento Funcional Identificado​

El proceso contempla las siguientes actividades funcionales:

  • Limpieza de cache Databricks.
  • Lectura de parámetros mediante widgets.
  • Lectura de fuentes y tablas de referencia identificadas en FROM / JOIN.
  • Creación de staging o vistas temporales:
    • TEMP_CLI
    • TEMP_CLIENTES
  • Aplicación de joins para comparar, homologar o enriquecer la dimensión.
  • Separación de registros nuevos para inserción.
  • Separación de registros modificados para actualización.
  • Persistencia del resultado en Delta mediante saveAsTable.

Consideraciones Funcionales​

  • El proceso está documentado como una dimensión.
  • El workflow asociado no se especifica en el DBC.
  • La frecuencia de ejecución no se especifica en el DBC.
  • La documentación se limita a la lógica presente en el notebook NB_Silver_DS_Client.
  • No se debe documentar ni exponer lógica no presente en el DBC.

Artefactos relacionados​

ArtefactoDescripción
Diseño Técnico - DS_ClientDocumenta arquitectura, modelo de datos dependencias y consideraciones técnicas.
Fuentes - DS_ClientDocumenta las fuentes de datos utilizadas por el proceso.
Operación - DS_ClientDocumenta consideraciones operativas, Runbook L1 y soporte.
Pipelines - DS_ClientDescribe la secuencia de ejecución del proceso.
Reglas de Negocio - DS_ClientContiene las reglas identificadas para el procesamiento.
Tablas - DS_ClientDocumenta dimensión principal, objetos relacionados y llaves identificadas.
Validaciones - DS_ClientDescribe menciones relacionadas con validaciones, revisión de fallos y acciones básicas.

Próximos pasos​

  • Confirmar workflow asociado al proceso.
  • Confirmar frecuencia de ejcución.
  • Validar owner técnico del proceso.
  • Validar permisos sobre fuentes y outputs.