Creating a Simple Data Flow

Objective

After completing this lesson, you will be able to cree un flujo de datos simple utilizando un gráfico de flujo.

Creación de un flujo de datos básico

Ya hemos aprendido que el enfoque de replicación de datos copia los datos de origen en la base de datos de destino sin modificar los datos. Pero en muchos casos, debe realizar modificaciones en los datos durante el proceso de aprovisionamiento de datos.

¿Por qué modificaríamos los datos durante el aprovisionamiento? Tenga en cuenta los siguientes requisitos:

  • Armonice múltiples fuentes de datos dispares en un formato consistente. Por ejemplo, debe alinear las longitudes de columna, los tipos de datos o incluso los valores de columna.
  • Convertir valores. Por ejemplo, debe intercambiar monedas o cambiar productos de código antiguo a códigos nuevos.
  • Calcular valores nuevos. Por ejemplo, calcule el beneficio o determine las fechas de vencimiento.
  • Añada los campos que faltan. Por ejemplo, añada simplemente un valor constante, añada la fecha actual o añada un código de país que falte que se pueda encontrar mediante una búsqueda basada en el campo de ciudad.
  • Validar y rechazar registros. Por ejemplo, pedidos incompletos.

En estos casos, debemos analizar el enfoque de transformación de datos.

Implemente la transformación de datos en SAP HANA utilizando un objeto gráfico llamado gráfico de flujo. Un gráfico de flujo define los pasos del viaje de datos de origen a destino e incluye todos los pasos de transformación a lo largo del camino.

La imagen muestra un gráfico de flujo con cuatro fuentes y un destino y tres nodos intermedios: Proyección, Join, Comparación de tablas

Es posible leer desde diferentes fuentes de datos y escribir en diferentes destinos de datos dentro del mismo gráfico de flujo. Las fuentes pueden ser tablas virtuales, tablas locales o vistas. Puede combinar datos y dividirlos para su distribución.

Componentes de diagrama de flujo

Normalmente, un diagrama de flujo consta de tres tipos diferentes de objetos.

  • Al menos una fuente
  • Uno o más nodos intermedios que están conectados en secuencia
  • Al menos un destino para almacenar el conjunto de datos resultante

Cree un flowgraph creando un archivo de tiempo de diseño en su proyecto, con la extensión .hdbflowgraph. Para simplificar la creación y la actualización, Web IDE y Business Application Studio proporcionan un editor gráfico. Simplemente seleccione tipos de nodo y arrástrelos al área de diseño. A continuación, configure cada nodo con opciones específicas para definir lo que debe suceder cuando los datos se desplazan por el nodo.

La configuración del nodo Fuente de datos especifica qué objeto se utiliza como fuente. Normalmente, se trata de una tabla o una vista existente.

Entre la fuente de datos y el destino de datos, implemente otros nodos para definir la transformación de datos. Una transformación común es el nodo Proyección. Se puede utilizar para los siguientes fines:

  • Restringir los registros (filas) basados en una expresión de filtro
  • Eliminar campos (columnas)
  • Renombrar campos (columnas)
  • Añadir nuevos campos (columnas) utilizando expresiones SQL

Almacenamiento del resultado

Para cada tabla de destino, debe proporcionar un nodo Destino de datos para almacenar los resultados de la transformación.

Nota

Existen otras opciones de destino de datos además de las tablas. Aprenderá sobre ellos en la próxima lección.

Crear y llamar un gráfico de flujo

la imagen muestra un gráfico de flujo simple con 3 nodos. A la izquierda, verá una fuente con 2 columnas y dos filas. Está conectado a un nodo de proyección que añade una tercera columna adicional, basada en la expresión CONCAT (columna1, columna2). La proyección está conectada a un nodo de destino de datos que contiene una asignación de columnas. El destino tiene inicialmente una fila. A continuación, se enumeran dos acciones. 1. Desplegar gráfico de flujo: Este paso verifica la definición de transformatina y crea una tarea o procedimiento. 2. Ejecutar diagrama de flujo. Este paso inicia la tarea o el procedimiento, procesa una transformación y rellena una tabla de destino. En el ent, la tabla de destino, contendrá 3 filas.

Antes de poder aplicar la transformación, debe desplegar el gráfico de flujo. Durante la implementación, se verifican las definiciones y se generan objetos ejecutables en tiempo de ejecución en el contenedor (esquema de base de datos) de su módulo. Una vez desplegado correctamente, puede ejecutar el gráfico de flujo manualmente desde el editor gráfico o puede programarlo.

Inicie el siguiente vídeo para aprender a crear un gráfico de flujo simple.

Echemos un vistazo más de cerca a la configuración del gráfico de flujo.

Inicie el siguiente vídeo para aprender a definir las opciones y cómo sus opciones determinan qué objetos de tiempo de ejecución se generan.

La siguiente tabla describe las opciones del gráfico de flujo:

Opciones para opciones de diagrama de flujo

OpciónObjetivoObjetos de tiempo de ejecución creadosComentario
Tarea de lote

Procesar datos como lote o carga inicial

  • Un procedimiento
  • Una tarea para la carga por lotes

Todos los tipos de nodo son válidos.

Tarea en tiempo real

Procesar datos en tiempo real

  • Un procedimiento
  • Una tarea para la carga por lotes
  • Una tarea para procesar actualizaciones en las fuentes en tiempo real

Algunos tipos de nodo no son válidos.

Tarea transaccional

Procesar datos en tiempo real sin carga inicial

  • Un procedimiento
  • Una tarea para procesar actualizaciones en las fuentes en tiempo real

Algunos tipos de nodo no son válidos.

Procedimiento

Programar o integrar la transformación en otro procedimiento o gráfico de flujo

Solo un procedimiento

Los nodos de aprovisionamiento de datos no son válidos.

En las siguientes lecciones, aprenderá más detalles sobre las posibles fuentes y objetivos y sobre otras opciones de transformación y capacidades de depuración.

Referencias

Para profundizar en este tema, es posible que desee consultar estas fuentes de SAP Help Portal: