Introduction au connecteur autonome

Le connecteur autonome gère la communication entre le système source et SAP Signavio Process Intelligence. Ce connecteur peut être utilisé si le système source n'est pas couvert par l'un des connecteurs standard dans SAP Signavio Process Intelligence (ou tout autre système tiers). Il extrait les données du système source, les transforme au format de journal des événements, puis est chargé dans Process Intelligence pour analyse. 

Cependant, les scripts ETL doivent s'exécuter en externe (en dehors de SAP Signavio Process Intelligence), mais utilisent l'API pour pousser les données vers un processus dans le système.

Le connecteur est constitué de plusieurs composants travaillant ensemble pour y parvenir. Il s'agit notamment des éléments suivants :

• Collection de scripts SQL d'extraction et de transformation
• Un fichier de configuration au format YAML
• Une base de données SQLite pour s'assurer que les données correctes sont chargées à chaque fois en cas de chargements réguliers
• Une application Java pour déclencher l'extraction, la transformation et le chargement réels

La leçon suivante décrit comment ces composants fonctionnent ensemble et peuvent être déployés pour servir Process Intelligence avec les données requises.

Continuons d'en savoir plus sur la fonctionnalité dans un exemple SAP.

Le connecteur utilise un utilisateur (service) technique SAP pour extraire des données du système source et les stocker dans un compartiment S3.

Le connecteur utilise Athena pour générer un fichier eventlog à partir de données S3 transformées et télécharge ce fichier.

Le connecteur charge le fichier journal des événements dans l'API Process Intelligence.

Pour qu'un ETL automatique fonctionne, nous devons d'abord configurer un environnement pour que le connecteur s'exécute dans. Pour ce faire, nous devons configurer la machine virtuelle.

Sélectionnez chaque étape ci-dessous pour en savoir plus sur la configuration.

Selon que la transformation des données peut être effectuée dans le système source, vous devrez peut-être configurer un environnement de stockage temporaire dédié. Dans la plupart des cas, cela est beaucoup plus rapide et mieux adapté à l'exploitation minière de processus. Cela vous permet également d'utiliser plusieurs systèmes source. 

Dans le cas d'AWS, un compte est requis avec S3 pour le stockage de données et Athena pour l'exécution des scripts de transformation.

Une fois la configuration de l'environnement terminée, le connecteur doit être configuré pour correspondre au cas d'utilisation spécifique. Cette opération s'effectue dans le fichier config.yaml fourni par SAP. Il définit les actions requises par le connecteur et les configurations de connexion, les extractions de table et les configurations du collecteur d'événements.  

Ce sujet traite de ces paramètres et fournit un exemple simplifié dans lequel nous allons extraire des exemples de données d'un système SAP et préparer une analyse de gestion des commandes.

Examinons d'abord chaque étape pour commencer à configurer notre connecteur. 

Maintenant que notre connexion est établie, l'étape suivante consiste à définir l'extraction et les données nécessaires. Examinons les paramètres nécessaires pour les chargements delta. Cette opération peut être effectuée sous tableSyncConfigurations. Nous commençons par les paramètres généraux pour chaque table qui doit être extraite. En savoir plus sur chaque étape pour configurer les paramètres généraux de nos tableaux. 

Maintenant que nous avons à la fois notre système source et les informations d'extraction, l'étape suivante est la transformation de nos données source au format du journal des événements. Pour ce faire, nous avons besoin de 3 colonnes (ID de cas, nom de l'événement, horodatage) sous eventCollectorConfigurations. En savoir plus sur chaque étape de notre configuration de transformation. 

Le connecteur peut être lancé en tant qu'application Java en exécutant les informations ci-dessous dans le terminal. Commencez par accéder au répertoire source du connecteur, puis exécutez pour commencer.

java -jar signavio-connector.jar <command>

Commandes : 

• Basé sur la table SyncConfiguration :
  • extrait => extrait les données brutes de la table du système source à l'aide des scripts d'extraction définis et les télécharge dans la zone intermédiaire où elles seront sauvegardées en tant que tables brutes. Les noms de tables dans la zone intermédiaire dépendront de ceux fournis dans tableSyncConfiguration.
  • createschema => génère le schéma pour les tables brutes 
  • La transformation => optimise le schéma de table brut et fusionne les mises à jour de lignes en cas de modifications apportées aux lignes qui se chevauchent entre les différents chargements delta. Les mises à jour des données déjà extraites lors d'un chargement précédent seront reconnues en fonction des paramètres keyColumn et mostRecentRowColumn.
• Basé sur eventCollectorConfiguration :
  • eventlog => crée la déconnexion de l'événement du système de stockage sur la base des scripts de transformation et le charge dans Process Intelligence.