Wir stellen John vor: Er ist neu im Team und wurde für die Zusammenarbeit mit Sandra, einem SAP-Data-Services-Experten, ausgewählt, um an einem neuen Integrationsprojekt zu arbeiten.
Data Services stellt verschiedene Objekte bereit, die beim Erstellen von Datenintegrations- und Datenqualitätsanwendungen verwendet werden.
Die Hauptobjekte
Bevor Sie Ihren Datentransferprozess entwerfen können, müssen Sie eine Projektstruktur anlegen.
Ein Projekt besteht aus einem oder mehreren Jobs, die in verschiedene Workflows aufgeteilt werden können.
Im Job oder Workflow können Sie dann den eigentlichen ETL-Prozess in einem Datenfluss entwerfen.
Lassen Sie mich es so zusammenfassen :
Der Datenfluss besteht in erster Linie aus einer Quelle (aus der die Daten stammen) und einem Ziel (wohin die Daten gehen).
Diese Quellen und Ziele können zwei verschiedene Typen haben:
- Datenspeicher (Datenbanken, Anwendungen, Web-Services...)
- Dateien (Formate) (Flatfiles, HDFS-Dateien, Excel-Arbeitsmappen...)
Notiz
Sie können eine Vielzahl von Transformationen für die Quelldaten entwerfen, indem Sie Transformationen anwenden.
Diese Transformationen werden in vier verschiedenen Kategorien gespeichert:
- Plattform: Haupttransformationen, die Daten abrufen und einige grundlegende Berechnungen oder Validierungen ausführen
- Data Integrator : wird hauptsächlich für das Data-Warehouse-/Data-Mart-Design verwendet. Generiert neue Daten oder ändert die Struktur der Quelldaten.
- Datenqualität: Wenden Sie Änderungen an, um die Quelldaten zu vervollständigen, zu bereinigen oder zu ergänzen.
- Textdatenverarbeitung : für Textanalyse.
Notiz
Im Folgenden finden Sie ein Beispiel für einen Datenfluss, der Daten aus einem Flatfile abfragt und das Ergebnis in einer Tabelle speichert. Die Query-Transformation wird am häufigsten von Plattformtransformationen verwendet.
Neben diesen wesentlichen Objekten können Sie auch aus Datenspeichern importieren oder Funktionen anlegen. Diese Funktionen können in jedem Ausdruck verwendet werden, den Sie schreiben müssen, um beispielsweise einige neue Daten zu filtern oder zu berechnen.
Die lokale Objektbibliothek
Alle von mir präsentierten Hauptobjekte finden Sie in der Lokalen Objektbibliothek.
Die meisten in Data Services angelegten Objekte können wiederverwendet werden.
Nachdem Sie ein wiederverwendbares Objekt definiert und gespeichert haben, speichert Data Services die Definition im Repository (der lokalen Objektbibliothek). Sie können die Definition bei Bedarf wiederverwenden, indem Sie Aufrufe dafür anlegen.
Beispiel: Ein Datenfluss innerhalb eines Projekts ist ein wiederverwendbares Objekt. Mehrere Jobs, z.B. ein wöchentlicher Ladejob und ein täglicher Datenübernahmejob, können denselben Datenfluss aufrufen. Wenn dieser Datenfluss geändert wird, rufen beide Jobs die neue Version des Datenflusses auf.
Sie können wiederverwendbare Objekte jederzeit bearbeiten, unabhängig vom aktuell geöffneten Projekt. Wenn Sie beispielsweise ein neues Projekt öffnen, können Sie einen Datenfluss aus einem anderen Projekt öffnen und bearbeiten. Die am Datenfluss vorgenommenen Änderungen werden erst gespeichert, wenn sie gesichert werden.
Die Orchestrierungsobjekte
Projekt, Job und Datenfluss sind die drei Hauptkomponenten zum Entwerfen eines Datentransferprozesses. Natürlich müssen Sie auch komplexere Bewegungen anlegen.
Weitere nützliche Objekte
- Skripte: Zum Ausführen einer Logik vor oder nach der Ausführung eines Datenflusses (z.B. Instanziieren eines Variablenwerts).
- Bedingungen: Zum Ausführen von Workflows oder Datenflüssen in Abhängigkeit von Bedingungen (z.B. Variablenwert oder Dateiexistenz).
- While-Schleifen: Mehrmaliges Ausführen eines Workflows oder Datenflusses.
- Try Catch: Um Ausnahmen in Ihren Datenflüssen zu verwalten.
Diese Objekte werden nicht im Repository gespeichert und sind daher nicht wiederverwendbar. Objekte, die nur einmal verwendet werden, erscheinen nur als Komponenten anderer Objekte. Sie arbeiten nur in dem Kontext, in dem sie angelegt wurden. Objekte, die nur einmal verwendet werden, können nicht kopiert werden.