Actualizando datos

Llevar cambios a la tabla de destino

Objective

After completing this lesson, you will be able to actualizar datos que cambian lentamente con el tiempo

Captura de datos modificada (CDC)

Cuando tiene una gran cantidad de datos para actualizar regularmente y una pequeña cantidad de tiempo de inactividad del sistema para el mantenimiento programado, debe seleccionar el mejor método para una carga delta o para actualizar sus datos a lo largo del tiempo.

Actualización completa y obtención de datos modificados

Puede optar por realizar una actualización completa de sus datos o puede extraer solo datos nuevos o modificados para actualizar el sistema de destino:

  • Actualización completa:

    La actualización completa es fácil de implementar y gestionar. Este método garantiza que no se pasen por alto ni se dejen de lado datos debido a errores técnicos o de programación. Utilice la actualización completa para realizar una carga delta en un sistema de destino en un entorno con una cantidad manejable de datos de origen.

  • Captura de datos modificada:

    Cuando se completa una carga inicial, solo puede extraer datos nuevos o modificados y actualizar el sistema de destino. La identificación y la carga de solo datos modificados se denominan Captura de datos modificados (CDC). CDC se recomienda para tablas grandes.

Beneficios de captura de datos modificados

  • Mejora el rendimiento porque el trabajo tarda menos tiempo en procesarse con menos datos para extraer, transformar y cargar.
  • El sistema de destino puede realizar un seguimiento del historial de modificaciones para que los datos se puedan analizar correctamente a lo largo del tiempo.

Es posible que no sea necesario configurar una solución CDC completa dentro de Data Services. Muchas bases de datos ahora cuentan con soporte CDC integrado en ellas, como Oracle, SQL Server, DB2 y SAP Sybase. Consulte la Guía del diseñador para obtener más información: https://help.sap.com/docs/SAP_DATA_SERVICES/ec06fadc50b64b6184f835e4f0e1f52f/572111656d6d1014b3fc9283b0e91070.html?locale=en-US&q=preload%20sql

Si desea configurar una solución CDC completa, puede seleccionar CDC basada en fuente y/o basada en destino.

Soluciones CDC

  • CDC basado en fuente evalúa las tablas fuente para determinar qué ha cambiado y solo extrae filas modificadas para cargarlas en las tablas de destino.
  • CDC basado en fuente es preferible a CDC basado en destino por motivos de rendimiento.
  • Algunos sistemas fuente no proporcionan suficiente información para hacer uso de las técnicas CDC basadas en la fuente.
  • CDC basado en destino extrae todos los datos de la fuente, compara las filas de origen y de destino mediante una transformación de comparación de tablas y, a continuación, carga solo las filas modificadas en el destino.
  • Puede utilizar una combinación de técnicas basadas en fuente y en destino.

Conservación de historial

Al actualizar los datos, debe decidir si desea realizar un seguimiento de las modificaciones o no.

Gestión de modificaciones de datos

Existen tres formas de gestionar las modificaciones de datos:

  • Sin preservación de la historia
  • Conservación limitada de la historia
  • Conservación ilimitada de la historia

Sin conservación de historial

Si no es necesario conservar el historial, puede actualizar la fila modificada.

El siguiente ejemplo actualiza el nombre de un vendedor, sin realizar un seguimiento de los cambios.

Tabla de destino antes de modificación de datos

La tabla muestra los datos antes de la modificación:

SALES_PERSON_IDNAMESALES_TEAM
000120Doe, John BNoroeste

Tabla de destino después de modificación de datos sin historial

La tabla muestra los datos cuando se ha modificado el nombre del vendedor:

SALES_PERSON_IDNAMESALES_TEAM
000120Smith, John BNoroeste

Conservación de historial limitada

Si necesita realizar un seguimiento de los cambios, pero sin almacenar todos los valores históricos, debe añadir dos campos adicionales por columna actualizable, uno para registrar el nuevo valor y otro para registrar la fecha de la modificación.

  • Solo puede conservar una modificación por atributo, como antigua y nueva o primera y última.
  • Cada modificación requiere como mínimo un campo adicional por atributo y otro campo adicional si desea registrar la fecha de la modificación.
  • Aunque la estructura de la tabla contiene todos los datos necesarios, el código SQL necesario para extraer información específica puede ser complejo.

La conservación de historial limitada puede almacenar un cambio en los datos, pero no puede adaptarse a múltiples cambios ni satisfacer adecuadamente la necesidad de informes resumidos.

El siguiente ejemplo muestra la implementación de un historial limitado preservando el valor del equipo de ventas.

Tabla de destino antes de modificación de datos

La tabla muestra los datos en la tabla de destino antes de la modificación:

SALES_PERSON_IDNAMESALES_TEAMOLD_TEAMEFF_TO_DATE
000120Smith, John B.NoroesteNULLNULL

Tabla de destino después de modificación de datos con conservación de historial limitada

La tabla muestra que el equipo de ventas del vendedor se ha modificado:

SALES_PERSON_IDNAMESALES_TEAMOLD_TEAMEFF_TO_DATE
000120Smith, John B.SudesteNoroesteOct_31_2004

Conservación ilimitada del historial

La preservación ilimitada del historial resuelve la mayoría de los problemas relacionados con la gestión de cambios de datos:

  • Genera nuevas filas para cambios significativos.
  • Requiere el uso de una clave única.
  • Opcionalmente, añade un campo Effective_Date o dos campos Valid_From y Valid_To.
  • Opcionalmente agrega un campo IsActive.

    A continuación, puede filtrar por Activo = Y para ver las filas actuales frente a las filas vencidas.

Para conservar el historial, debe gestionar los problemas de restricción en sus tablas de destino que surgen cuando tiene más de un registro en sus tablas para una sola entidad, como un cliente o un empleado.

Por ejemplo, con sus registros de ventas, el ID del representante de ventas es la clave principal y se utiliza para vincular ese registro a todos los pedidos de cliente del representante. Si intenta añadir un nuevo registro con la misma clave primaria, se producirá una excepción. Por otro lado, si asigna un nuevo ID de vendedor al nuevo registro para ese representante, compromete su capacidad de informar con precisión sobre las ventas totales del representante.

Para solucionar este problema, cree una clave sustituta como una nueva columna en la tabla de destino. La clave sustituta se convierte en la nueva clave primaria para los registros. Al mismo tiempo, modifique las propiedades de la clave primaria anterior para que sea simplemente una columna de datos.

Cuando se inserta un nuevo registro para el mismo representante, se asigna una clave sustituta única, lo que le permite continuar utilizando el ID de vendedor para actualizar el enlace a los pedidos del representante.

Tabla de destino antes de modificación de datos

La tabla muestra los datos antes de la modificación:

SALES_PERSON_KEYSALES_PERSON_IDNAMESALES_TEAM
15000120Doe, John BNoroeste

Tabla de destino después de la modificación de datos

Cuando implementa la preservación de historial ilimitada, aparecen dos registros como se muestra en esta tabla:

SALES_PERSON_KEYSALES_PERSON_IDNAMESALES_TEAM
15000120Doe, John BNoroeste
133000120Doe, John BSudeste

Actualizaciones en tablas de destino

SAP Data Services marca cada fila internamente en un conjunto de datos con un código de operación que identifica el estado de la fila.

La siguiente tabla describe cómo se puede obtener cada código de operación y cómo Data Services procesa filas con el código de operación.

Descripción de códigos de operación

Los códigos de operación indican cómo se aplica cada fila del conjunto de datos a la tabla de destino. Los códigos de operación son:

Código de operaciónContextoResultado
NORMALFila extraída de una fuente.Crea una nueva fila en el destino.
INSERTSe ha añadido una fila en un conjunto de datos en comparación con una imagen anterior del mismo conjunto de datos.Crea una nueva fila en el destino.
UPDATELa fila de un conjunto de datos ha cambiado en comparación con una imagen anterior del mismo conjunto de datos.Sobrescribe una fila existente en el destino.
DELETELa fila de un conjunto de datos se ha eliminado en comparación con una imagen anterior del mismo conjunto de datos.Borra la fila del destino.

La mayoría de las transformaciones solo funcionan en filas marcadas como NORMAL. Así, por ejemplo, una transformación de consulta siempre dará salida a filas con el código de operación NORMAL.

Nota

Este código de operación genera una sentencia insert en la tabla de destino. Pero si la opción de carga automática correcta está fijada en el destino, la acción real puede convertirse en una actualización.

La transformación Table_Comparison se utiliza para comparar dos conjuntos de datos y puede generar códigos de operación INSERT, UPDATE o DELETE.

La transformación History_Preserve se puede utilizar para modificar actualizaciones en inserciones y borrarlas en actualizaciones, por ejemplo.

Otra transformación se puede utilizar para modificar los códigos de operación: La transformación Map_Operation.

Introducción a la transformación de la operación de mapa

La transformada Map_Operation permite el cambio de códigos de operación en conjuntos de datos para producir la salida deseada. Por ejemplo, si una fila en el conjunto de datos de entrada se ha actualizado en alguna operación anterior del flujo de datos, utilice esta transformación para asignar la operación UPDATE a un INSERT. El resultado podría ser convertir filas UPDATE en filas INSERT para conservar la fila existente en el destino.

La transformación de la operación de mapa

Como se muestra en la figura, la Transformación de operación de mapa:

  • Sustituye explícitamente los códigos de operación
  • Puede descartar filas con códigos de operación específicos
  • Se utiliza para la compatibilidad de transformación subsiguiente y para controlar la escritura en el destino.

La entrada para la transformación de operación de mapa es un conjunto de datos con filas marcadas con cualquier código de operación.

La transformación Operación de mapa permite configurar la opción de tipo de fila de salida para indicar las nuevas operaciones deseadas para el conjunto de datos de entrada. Seleccione entre los siguientes códigos de operación: INSERT, UPDATE, DELETE, NORMAL o DISCARD.

Este es un ejemplo:

Opcionalmente, puede escribir expresiones de asignación para cada columna, por tipo de fila.

Asignación de expresiones

Al escribir expresiones de asignación por columna y por tipo de fila (INSERT/UPDATE/DELETE) puede:

  • Modificar el valor de los datos para una columna.
  • Ejecutar diferentes expresiones en una columna en función de su tipo de fila de entrada.
  • Utilice la función before_image para acceder al valor before image de una fila UPDATE.

Por ejemplo, podría cargar datos de una fuente de entrega de ventas, modificar inserciones en actualizaciones y modificar el valor de la columna ESTADO de los pedidos de cliente a "ENTREGADO".