独立连接器简介

独立连接器处理源系统与 SAP Signavio Process Intelligence 之间的通信。 如果 SAP Signavio Process Intelligence（或任何其他第三方系统）中的其中一个标准连接器未涵盖源系统，则可以使用此连接器。它从源系统中提取数据，将其转换为事件日志格式，然后上载到流程智能进行分析。 

但是，ETL 脚本需要在外部（在 SAP Signavio Process Intelligence 之外）运行，但使用 API 将数据推送到系统内的流程。

连接器由多个组件组成，共同工作以实现此目的。其中包括：

• 提取和转换 SQL 脚本的集合
• YAML 格式的配置文件
• SQLite 数据库，确保在定期加载时每次都加载正确的数据
• 用于触发实际提取、转换和加载的 java 应用程序

以下课程将介绍这些组件如何协同工作，以及如何部署这些组件以使用所需数据为 Process Intelligence 提供服务。

让我们继续详细了解 SAP 示例中的功能。

连接器使用 SAP 技术（服务）用户从源系统中拉取数据并将其存储在 S3 存储桶中。

连接器使用 Athena 根据转换的 S3 数据生成 eventlog 文件并下载此文件。

连接器将事件日志文件上载到 Process Intelligence API。

为了使自动 ETL 正常工作，我们首先需要设置在 中运行的连接器的环境。为此，我们需要设置虚拟机。

选择下面的各个步骤，了解有关设置此功能的更多信息。

根据是否可以在源系统中执行数据转换，可能需要设置专用的数据准备环境。在大多数情况下，这更快速且更适合流程挖掘。这还允许您使用多个源系统。 

对于 AWS，需要同时使用 S3 账户进行数据存储，使用 Athena 账户运行转换脚本。

环境设置完成后，需要配置连接器以适应特定用例。此操作在 SAP 提供的 config.yaml 文件中完成。其定义连接器所需的操作以及连接配置、表提取和事件收集器配置。  

在本课中，我们将介绍这些参数并提供一个简化的示例，其中我们将从 SAP 系统中提取示例数据并准备订单到收款分析。

首先，我们来看一下每个步骤，开始配置我们的连接器。 

建立连接后，下一步是定义提取和必要的数据。让我们看一下增量加载的必要参数。此操作可在 tableSyncConfigurations 下完成。我们从应提取的每个表的常规参数开始。了解有关设置表常规参数的每个步骤的详细信息。 

现在，我们拥有源系统和提取信息，下一步是将源数据转换为事件日志格式。为此，我们需要 eventCollectorConfigurations 下的 3 列（案例标识、事件名称、时间戳）。 在转换配置中了解有关每个步骤的详细信息。 

通过在终端中运行以下信息，可以将连接器作为 Java 应用程序启动。首先，转到连接器的源目录，然后执行 开始。

java -jar signavio-connector.jar <command>

命令： 

• 基于 tableSyncConfiguration：
  • extract => 通过使用定义的提取脚本从源系统中提取原始表数据，并将其上载到将另存为原始表的暂存区域。暂存区中的表名称将取决于 tableSyncConfiguration 中提供的表名称。
  • createmema => 生成原始表的模式 
  • transform => 优化原始表模式，并在不同增量加载之间对重叠行进行更改时合并行更新。将根据 keyColumn 和 mostRecentRowColumn 参数识别先前加载中已提取数据的更新。
• 基于 eventCollectorConfiguration：
  • eventlog => 根据转换脚本创建事件注销暂存系统，并将其上载到 Process Intelligence。