Descripción de la arquitectura técnica de un producto de datos

Los productos de datos son el núcleo de SAP BDC. Son los módulos individuales de la plataforma de datos y constan de datos empresariales seleccionados y metadatos asociados que se han extraído de aplicaciones SAP y no SAP.

Para las aplicaciones fuente de SAP, SAP gestiona todos los aspectos del proceso de extracción, transformación y carga (ETL), del sistema fuente al almacén de objetos de SAP BDC en el que se descargan los datos. Los clientes simplemente consumen los productos de datos listos para usar. Un producto de datos proporciona datos listos para la empresa sin tareas de preparación de datos necesarias para la organización de TI de un cliente. Los clientes pueden centrarse en añadir valor a los productos de datos suministrados por SAP mediante el enriquecimiento. O simplemente utilícelos tal como son.

Cada aplicación fuente de SAP proporciona los datos a los productos de datos utilizando su propia tecnología nativa. Por ejemplo, SAP S/4HANA utiliza la tecnología ABAP en la que las vistas ABAP Core Data Services (CDS) combinan varias tablas ABAP en una vista armonizada lista para la extracción.

Los productos de datos son poderosos, pero si no se pueden descubrir entonces son inútiles.

Los productos de datos de SAP BDC se describen y exponen mediante el protocolo Open Resource Discovery (ORD) estándar abierto desarrollado por SAP.

El protocolo ORD fue desarrollado originalmente por SAP para exponer las API entre sistemas. Más tarde se amplió para incluir productos de datos de SAP BDC. ORD es un framework bien establecido dentro de SAP Business AI Platform que utilizan los desarrolladores para descubrir API y eventos de sistemas SAP.

El objetivo de ORD en el contexto de SAP BDC es recopilar información relacionada con productos de datos de todas las aplicaciones fuente de SAP y exponerlos mediante un catálogo central. El proveedor debe asegurarse de que el archivo Definición de producto de datos para cada producto de datos incluya la información clave que requiere el agregador a través de la API de proveedor. El agregador para SAP BDC es el catálogo central.

El protocolo ORD incluye atributos de detectabilidad importantes como la visibilidad, el estado de liberación y las dependencias de integración.

Si está interesado en obtener más información sobre el protocolo ORD, puede hacer clic aquí: Guía para Open Resource Discovery (ORD)

Además de los datos empresariales, los productos de datos de SAP BDC también proporcionan los metadatos valiosos que describen los datos empresariales en detalle.

Los metadatos de un producto de datos proporcionan a la IA información esencial sobre el significado de los datos empresariales. Sin metadatos, sería difícil obtener resultados precisos y útiles de la IA.

Los metadatos incluyen:

• Descripciones/etiquetas para cada campo en varios idiomas; por ejemplo, el campo técnico R_001_10a tiene la etiqueta Ingresos brutos en inglés y Revenu Brut en francés.
• Identificación del campo que proporciona el idioma para la visualización de etiquetas y descripciones. Por ejemplo, el país de la sociedad que genera la factura.
• Asociación anidada a otras entidades: por ejemplo, el producto está asociado con el proveedor que está asociado con el país.
• Semántica que describe el significado preciso de cada campo en el producto de datos; por ejemplo, Ingresos es un valor de supervisión con la moneda EUR.
• Reglas para describir cómo deben y no deben agregarse los indicadores; por ejemplo, el balance de stock final nunca debe agregarse utilizando Suma para el mismo producto a lo largo de las dimensiones de tiempo y, en su lugar, debe agregarse a lo largo del tiempo utilizando Último.

El protocolo Notación de esquema central (CSN) se utiliza para definir los metadatos de los productos de datos de SAP BDC.

CSN es un formato bien establecido para describir modelos de entidad y servicio dentro del ecosistema de SAP. CSN utiliza un formato JSON para intercambiar metadatos entre sistemas.

Si desea obtener más información sobre CSN y ver un ejemplo detallado, haga clic aquí:

Los servicios básicos a menudo se denominan la columna vertebral de SAP BDC.

Los servicios básicos desempeñan un papel clave en la generación y gestión de productos de datos. El "combustible" de SAP BDC.

Los servicios básicos son los servicios gestionados por SAP en segundo plano que tienen múltiples responsabilidades, entre las que se incluyen:

• Extracción de datos de aplicaciones SAP
• Transformar y unificar los datos de las aplicaciones de SAP
• Generación de productos de datos
• Configuración de los procesos de carga inicial y delta
• Gestionar el almacenamiento de productos de datos en el archivo de objetos
• Compartir productos de datos con aplicaciones de consumidor
• Control y seguridad de los productos de datos

Los Clientes no tienen acceso a los Servicios de Base. Lo que tiene lugar es en segundo plano y es invisible para los clientes. SAP supervisa constantemente todas las actividades en los servicios básicos de la infraestructura de SAP BDC de un cliente para garantizar que los datos fluyan de las aplicaciones fuente a SAP BDC sin interrupción.

Los servicios básicos son un componente obligatorio en una infraestructura de SAP BDC y forman parte del componente central de SAP BDC proporcionado.

El almacén de objetos de los servicios de fundamentos se basa en SAP HANA Cloud, data lake.

Sigamos el flujo de producción de un producto de datos.

1. Para iniciar la instalación de un producto de datos, puede instalar contenido inteligente que instale automáticamente los productos de datos necesarios o puede instalar manualmente un producto de datos desde el cockpit de SAP BDC.
2. Se informa a la capa de orquestación de los servicios básicos sobre la instalación e inicia el proceso de generación. La capa de orquestación verifica el registro de productos de datos donde busca el archivo Definición de producto de datos para averiguar qué sistema fuente conectar para cada producto de datos.
3. En el sistema fuente hay una asignación entre cada producto de datos y las tablas/vistas fuente. El sistema fuente recopila los datos y los envía a la capa de ingesta (replicada) del archivo de objetos en los servicios básicos de SAP BDC. Los datos se almacenan en el formato del sistema fuente.
4. Los datos de la capa replicada pasan por transformaciones que se basan en pipelines de Spark para generar productos de datos estables y listos para el consumo en la capa refinada. Algunos productos de datos también pueden pasar a través de una capa adicional para generar un producto de datos derivado de la capa refinada a la capa enriquecida.
5. Por último, el producto de datos se expone mediante el protocolo ORD para que los consumidores puedan descubrirlo en toda la infraestructura del cliente.

Los productos de datos de SAP BDC se almacenan en el archivo de objetos. El archivo de objetos es un componente clave en los servicios básicos de SAP BDC.

El archivo de objetos se implementa técnicamente con SAP HANA Cloud, data lake. En el data lake, los datos se gestionan mediante el formato de tabla delta que admite el protocolo de compartición delta. Los datos se almacenan en archivos, normalmente archivos parquet.

El almacenamiento del lago de datos permite que SAP BDC gestione eficientemente grandes volúmenes de datos con características como transacciones ACID, manejo escalable de metadatos y procesamiento de datos por lotes y streaming unificado. Este enfoque es rentable y altamente escalable, dando soporte al almacenamiento y procesamiento de múltiples terabytes.

Compartir datos en lugar de copiarlos significa que evita crear silos de datos incontrolados. Compartir un único conjunto de datos en todas las aplicaciones significa mantener el control de quién tiene acceso a los datos y siempre está seguro de que los datos pueden ser confiables como la única versión de la verdad.

En SAP BDC, los productos de datos se comparten mediante el protocolo de compartición delta. El protocolo de compartición delta es una tecnología de código abierto ampliamente adoptada que permite el acceso a datos:

• sin mover ni copiar datos. Esto se consigue utilizando un enfoque de copia cero.
• a través de una variedad de métodos para dar soporte a la mayoría de las herramientas de consumo.
• con un control central que garantiza la seguridad de los datos.
• de una manera altamente escalable.

El proveedor de datos comparte datos seleccionados y gestiona el acceso a través de un servidor de compartición que utiliza el protocolo de compartición delta.

El consumidor de datos debe utilizar uno de los muchos clientes de compartición delta que admite el protocolo. Algunos conectores de código abierto se han liberado, por ejemplo, para Apache Spark y Python.

El protocolo garantiza que el cliente se autentique en el servidor de compartición y se asegura de que se permita acceder a los datos solicitados en la consulta. A continuación, registra la solicitud y determina qué datos devolver. A continuación, el servidor de uso compartido crea URL temporales para que el cliente descargue archivos directamente del proveedor de la nube. Este proceso permite una transferencia de datos rápida y a gran escala sin pasar por el servidor compartido, haciéndolo eficiente y rentable.

Puede obtener más información sobre el uso compartido delta aquí: Profundización en Delta Share

• Ha aprendido cómo los productos de datos se autodescriben mediante el protocolo ORD.

• Ha aprendido cómo los archivos CSN proporcionan los metadatos de los productos de datos.

• Ha aprendido cómo los servicios de fundamentos gestionan los productos de datos y proporcionan un componente de almacenamiento conocido como almacén de objetos, que se basa en una arquitectura de data lake.