Introducción al conector independiente

El conector independiente gestiona la comunicación entre el sistema fuente y SAP Signavio Process Intelligence. Este conector se puede utilizar si el sistema fuente no está cubierto por uno de los conectores estándar en SAP Signavio Process Intelligence (o cualquier otro sistema de terceros). Extrae datos del sistema fuente, los transforma al formato de log de eventos y, a continuación, se carga en Process Intelligence para analizarlos. 

Sin embargo, los scripts ETL deben ejecutarse externamente (fuera de SAP Signavio Process Intelligence), pero utilizan la API para enviar los datos a un proceso dentro del sistema.

El conector consta de varios componentes que trabajan juntos para lograrlo. Esto incluye:

• Una colección de scripts SQL de extracción y transformación
• Un archivo de configuración en formato YAML
• Una base de datos SQLite para garantizar que se carguen los datos correctos cada vez en caso de cargas regulares
• Una aplicación Java para desencadenar la extracción, transformación y carga reales

La siguiente lección describirá cómo estos componentes trabajan juntos y se pueden desplegar para servir a Process Intelligence con los datos necesarios.

Continuemos aprendiendo más sobre la funcionalidad en un ejemplo de SAP.

El conector utiliza un usuario técnico (de servicio) de SAP para extraer datos del sistema fuente y almacenarlos en un intervalo S3.

El conector utiliza Athena para generar un archivo de registro de eventos a partir de datos S3 transformados y descarga este archivo.

El conector carga el archivo de registro de eventos en la API de Process Intelligence.

Para que funcione un ETL automatizado, primero debemos configurar un entorno para que el conector se ejecute en. Para ello, necesitamos configurar la máquina virtual.

Seleccione cada paso a continuación para obtener más información sobre cómo configurar esto.

En función de si la transformación de datos se puede realizar en el sistema fuente, es posible que tenga que configurar un entorno de staging dedicado. En la mayoría de los casos, esto es mucho más rápido y más adecuado para la minería de procesos. Esto también le permite utilizar varios sistemas fuente. 

En el caso de AWS, se requiere una cuenta tanto con S3 para el almacenamiento de datos como con Athena para ejecutar los scripts de transformación.

Una vez finalizada la configuración del entorno, el conector debe configurarse para que se ajuste al caso de uso específico. Esto se realiza en el archivo config.yaml proporcionado por SAP. Define las acciones requeridas por el conector y las configuraciones de conexión, extracciones de tabla y configuraciones de colector de eventos.  

En la lección, repasaremos estos parámetros y proporcionaremos un ejemplo simplificado en el que extraeremos datos de ejemplo de un sistema SAP y realizaremos la preparación para un análisis de gestión de pedidos.

Primero, veamos cada paso para comenzar a configurar nuestro conector. 

Ahora que se establece nuestra conexión, el siguiente paso es definir la extracción y los datos necesarios. Veamos los parámetros necesarios para las cargas delta. Esto se puede hacer en tableSyncConfigurations. Comenzamos con los parámetros generales para cada tabla que se debe extraer. Obtenga más información sobre cada paso para configurar los parámetros generales de nuestras tablas. 

Ahora que tenemos nuestro sistema fuente y la información de extracción, el siguiente paso es la transformación de nuestros datos fuente al formato de registro de eventos. Para ello, necesitamos 3 columnas (ID de caso, nombre de evento, cronomarcador) en eventCollectorConfigurations. Obtenga más información sobre cada paso en nuestra Configuración de transformación. 

El conector se puede iniciar como una aplicación Java ejecutando la siguiente información en el terminal. Primero, vaya al directorio de origen del conector y ejecute para comenzar.

java -jar signavio-connector.jar <command>

Comandos: 

• Basado en tableSyncConfiguration:
  • extraer => extrae los datos brutos de la tabla del sistema fuente utilizando los scripts de extracción definidos y los carga en el área de staging donde se guardarán como tablas brutas. Los nombres de tabla en el área de staging dependerán de los proporcionados en tableSyncConfiguration.
  • createschema => genera el esquema para las tablas brutas 
  • transformada => optimiza el esquema de tabla sin procesar y fusiona las actualizaciones de fila en caso de que haya cambios en las filas que se solapan entre diferentes cargas delta. Las actualizaciones de datos que ya se extrajeron en una carga anterior se reconocerán según los parámetros keyColumn y mostRecentRowColumn.
• Basado en eventCollectorConfiguration:
  • eventlog => crea el log de eventos del sistema de staging basado en los scripts de transformación y lo carga en Process Intelligence.