Entwickeln erweiterter ETL-Szenarien mit SAP-Data-Services -Integrator-Transformationen

Beschreiben von SAP-Data-Services -Integrator-Transformationen

Objective

After completing this lesson, you will be able to data-Services-Integrator-Transformationen beschreiben

Data-Services-Integrator-Transformationen

Data-Services -Integrator-Transformationen werden verwendet, um Ihre Datenintegrationsprojekte über die Kernfunktionen von Plattform-Transformationen hinaus zu erweitern. In Ihren Projekten stellen Sie XML-Daten mit wiederholten Knoten, Hierarchiedaten oder Datenquellen fest, bei denen entweder zu viele oder nicht genügend Felder vorhanden sind. Sie stellen fest, dass die Plattform-Transformationen nicht genügend Flexibilität bieten. Daher wenden Sie sich zur Unterstützung an die Data-Services -Integrator-spezifischen Transformationen.

Data-Services -Integrator-Transformationen führen Schlüsselvorgänge für Datensets aus, um ihre Struktur zu bearbeiten, während sie von der Quelle an das Ziel übergeben werden.

Neben Table_Comparison, History_Preserving und Key_Generation finden Sie die folgenden Transformationen:

Weitere Data-Services-Integrator-Transformationen

Diese Transformationen sind im Data-Integrator-Zweig des Tabs Transformationen in der lokalen Objektbibliothek verfügbar:

TransformationBeschreibung
Daten übertragenErmöglicht es einem Datenfluss, seine Verarbeitung in zwei Teildatenflüsse aufzuteilen und ressourcenintensive Vorgänge an den Datenbankserver weiterzugeben.
DatumserzeugungGeneriert eine Spalte mit Datumswerten, die auf dem von Ihnen angegebenen Start- und Enddatum sowie der Schrittweite basieren.
WirksamkeitsdatumGeneriert eine zusätzliche Gültig-bis-Spalte basierend auf dem Gültigkeitsdatum des Primärschlüssels.
HierarchieabflachungVerflacht hierarchische Daten in relationale Tabellen, sodass sie an einem Sternschema teilnehmen können. Die Hierarchieabflachung kann sowohl vertikal als auch horizontal sein.
CDC-Vorgang zuordnenSortiert Eingabedaten, ordnet Ausgabedaten zu und löst vor und nach Versionen für UPDATE-Zeilen auf. Obwohl diese Transformation häufig zur Unterstützung der Oracle- oder Mainframe-Datenerfassung verwendet wird, unterstützt sie jeden Datenstrom, wenn die Eingabeanforderungen erfüllt sind.
PivotDreht die Werte in den angegebenen Spalten in Zeilen.
Umgekehrtes PivotDreht die Werte in den angegebenen Zeilen in Spalten.
XML-PipelineVerarbeitet große XML-Eingaben in kleinen Batches.

Lassen Sie uns die Anwendungsfälle für einige von ihnen beschreiben.

Die Transformation der Datumsgenerierung

Verwenden Sie die Date_Generation-Transformation, um die Schlüsselwerte für ein Zeitdimensionsziel zu erzeugen, wie in der Abbildung dargestellt. Füllen Sie aus dieser generierten Sequenz mithilfe von Funktionen in einer Abfrage andere Felder in der Zeitdimension (z.B. day_of_week).

Beispiel: Um ein Zeitdimensionsziel mit Datumsangaben vom Anfang des Jahres 1997 bis zum Ende des Jahres 2000 zu erstellen, fügen Sie eine Date_Generation-Transformation, eine Abfrage und ein Ziel in einen Datenfluss ein. Verbinden Sie die Ausgabe der Date_Generation-Transformation mit der Abfrage und die Ausgabe der Abfrage mit dem Ziel.

Date_Generation-Transformationsoptionen

Geben Sie in der Date_Generation-Transformation die folgenden Optionen an:

  • Startdatum: 1997.01.01 (Es kann auch eine Variable verwendet werden.)
  • Enddatum: 2000.12.31 (Es kann auch eine Variable verwendet werden.)
  • Schrittweite: Täglich (Eine Variable kann auch verwendet werden.)

Zeitdimensionswerte berechnen

In der Abfrage können Sie neue Zielspalten anlegen und eine Zuordnung für verschiedene Zeitdimensionswerte definieren. Im Folgenden finden Sie einige Beispiele für Funktionen, die Sie verwenden können:

  • julianische Funktion: Erstellen einer eindeutigen Datums-ID.

    Dies ist die Anzahl der Tage zwischen dem Beginn des Julianischen Kalenders und dem angegebenen Datum.

  • Monats-Funktion: Extrahieren der Monatszahl (1 bis 12) aus dem angegebenen Datum.
  • Quartalsfunktion: Zum Extrahieren der Quartalszahl (1 bis 4) aus dem angegebenen Datum.
  • to_char-Funktion: Extrahieren eines Teils des angegebenen Datums im Zeichenfolgenformat.
  • day_in_wochen-Funktion: Zum Extrahieren der Nummer des Tages (1 bis 7) in der Woche aus dem angegebenen Datum.
  • iswochenend-Funktion: Ausgabe eines booleschen Werts (1 oder 0), um zu ermitteln, ob das angegebene Datum an einem Wochenende liegt oder nicht.

Probieren wir es aus

Lassen Sie mich Sie durch die Erstellung einer Zeitdimension führen:

Die Transformation des Gültigkeitsdatums

Mit der Effective_Date-Transformation wird, wie in der Abbildung dargestellt, ein Gültig-bis-Wert für Daten berechnet, die ein Gültigkeitsdatum enthalten. Das berechnete Gültig-bis-Datum und ein vorhandenes Gültigkeitsdatum ergeben einen Datumsbereich, in dem Abfragen basierend auf Gültigkeitsdaten aussagekräftige Ergebnisse liefern können.

Die Map-CDC-Operationstransformation

Während die Map_CDC_Operation-Transformation häufig verwendet wird, um die relationale oder Mainframe-Datenänderungserfassung (CDC) zu unterstützen, unterstützt die Map_CDC_Operation-Transformation jeden Datenstrom, solange die Eingabeanforderungen erfüllt sind. Relationale CDC-Quellen sind Oracle und SQL Server. Diese Transformation ist in der Regel das letzte Objekt vor dem Ziel in einem Datenfluss, da sie INPUT-, UPDATE- und DELETE-Operationscodes erzeugt. Data Services gibt eine Warnung aus, wenn andere Objekte verwendet werden.

Wie in der Abbildung dargestellt, verwendet die Map_CDC_Operation-Transformation Eingabeanforderungen (Werte für die Spalte Sequenzierung und eine Spalte Zeilenoperation), um drei Funktionen auszuführen.

  1. Sortieren Sie die Eingabedaten basierend auf Werten im Feld Sequenzspalte und (optional) im Spaltenfeld Zusätzliche Gruppierung.
  2. Ordnen Sie Ausgabedaten basierend auf Werten im Spaltenfeld Zeilenoperation zu. Quelltabellenzeilen werden INSERT-, UPDATE- oder DELETE-Vorgängen zugeordnet, bevor sie an das Ziel übergeben werden.
  3. Fehlende, getrennte oder mehrere Before- und After-Images für UPDATE-Zeilen auflösen.

Wir werden uns in den nächsten Lektionen genauer mit den Pivot- und Data_Transfer-Transformationen befassen.