Es ist möglich, Statistiken zu den Daten zu sammeln, die aus einem beliebigen Data-Services -Objekt wie einer Quelle, Transformation oder einem Ziel fließen.
Anhand dieser Statistiken kann ermittelt werden, ob der Datenfluss wie vorgesehen ausgeführt wurde.
Das Audit ermöglicht es Ihnen, zu wissen, dass etwas falsch ist, aber Sie müssen dann untersuchen, um zu verstehen, was passiert ist. Es kann sich um fehlerhafte Quelldaten wie im vorherigen Beispiel, um ein Fehlen in der Transformationskonfiguration oder um ein Problem mit dem Ladeprozess handeln.
Audit einrichten
Um Auditing verwenden zu können, müssen Sie Folgendes tun:
- Auditpunkte definieren: Auditpunkte sammeln und speichern Laufzeitstatistiken zu den Daten, die aus Objekten ausfließen.
- Regeln definieren: Verwenden Sie Laufzeitstatistiken, um Regeln zu definieren, die überprüfen, ob die Daten an bestimmten Stellen in einem Datenfluss Ihren Erwartungen entsprechen. Die Verifizierung erfolgt, wenn die Daten die folgende Bewegung im Datenfluss erreichen:
- Aus Quellen extrahiert.
- Von Transformationen verarbeitet.
- In Ziele geladen.
- Laufzeitbenachrichtigung generieren: Die Benachrichtigung enthält eine Liste der fehlgeschlagenen Auditregeln und die Werte der Auditstatistiken zum Zeitpunkt des Fehlschlagens.
- Audit-Statistik anzeigen: Nachdem ein Job ausgeführt wurde, identifizieren die Audit-Statistiken das Objekt bzw. die Objekte im Datenfluss, die fehlerhafte Daten erzeugt haben.
Prüfpunkte und Bezeichnungen
Ein Auditpunkt stellt das Objekt in einem Datenfluss dar, in dem Statistiken gesammelt werden. Auditieren Sie eine Quelle, eine Transformation oder ein Ziel in einem Datenfluss.
Wenn Auditpunkte für Objekte in einem Datenfluss definiert werden, geben Sie eine Auditfunktion an. Eine Auditfunktion stellt die Auditstatistik dar, die Data Services für eine Tabelle, ein Ausgabeschema oder eine Spalte sammelt.
Die verfügbaren Audit-Funktionen hängen vom Auditpunkttyp ab.
Auditfunktionen
Wählen Sie eine der folgenden Auditfunktionen aus:
| Datenobjekt | Funktion | Beschreibung |
|---|---|---|
| Tabellen- oder Ausgabeschema | Zählung | Diese Funktion sammelt zwei Statistiken:
Der Datentyp für diese Funktion ist integer. |
| Spalte | Summe | Summe der numerischen Werte in der Spalte. Diese Funktion schließt nur die guten Zeilen ein. Diese Funktion gilt für Spalten mit dem Datentyp integer, decimal, double und real. |
| Spalte | Durchschnitt | Durchschnitt der numerischen Werte in der Spalte. Diese Funktion schließt nur die guten Zeilen ein. Diese Funktion gilt für Spalten mit dem Datentyp integer, decimal, double und real. |
| Spalte | Prüfsumme | Erkennt Fehler in den Werten der Spalte mithilfe des Prüfsummenwerts. Diese Funktion gilt nur für Spalten mit dem Datentyp varchar. |
Eine Auditbezeichnung stellt den eindeutigen Namen im Datenfluss dar, den Data Services für Auditstatistiken generiert. Auditbezeichnungen werden für jede definierte Auditfunktion für jeden Auditpunkt gesammelt.
Auditbezeichnungen
Wenn sich der Auditpunkt in einer Tabelle oder einem Ausgabeschema befindet, werden diese beiden Bezeichnungen für die Funktion Zähl-Audit generiert:
$Count_objectname
$CountError_objectname
Wenn sich der Auditpunkt in einer Spalte befindet, wird die Auditbezeichnung in folgendem Format generiert:
$auditfunction_objectname
Notiz
Definieren von Rechnungsprüfungsregeln und -aktionen
Verwenden Sie Audit-Regeln, wenn Sie Auditstatistiken für ein Objekt mit einem anderen Objekt vergleichen. Verwenden Sie beispielsweise eine Auditregel, um zu überprüfen, ob die Anzahl der Zeilen aus der Quelltabelle mit der Anzahl der Zeilen in der Zieltabelle übereinstimmt.
Eine Auditregel ist ein Boolescher Ausdruck, der aus einer linken Seite (LHS), einem Booleschen Operator und einer rechten Seite (RHS) besteht. Das LHS kann eine einzelne Auditbezeichnung, mehrere Auditbezeichnungen, die einen Ausdruck mit einem oder mehreren mathematischen Operatoren bilden, oder eine Funktion mit Auditbezeichnungen als Parameter sein. Neben dem LHS kann das RHS auch eine Konstante sein.
Beispiele für Rechnungsprüfungsregeln
- $Count_CUSTOMER = $Count_CUSTDW
- $Sum_ORDER_US + $Sum_ORDER_EUROPE = $Sum_ORDER_DW
- round($Avg_ORDER_TOTAL) >= 10000
Auditmaßnahmen
Wählen Sie eine beliebige Kombination der Aktionen aus, die für die Benachrichtigung über ein fehlgeschlagenes Audit aufgelistet sind:
- E-Mail an Liste: Data Services sendet eine Benachrichtigung darüber, welche Auditregel an die in dieser Option aufgeführten E-Mail-Adressen fehlgeschlagen ist. Verwenden Sie ein Komma, um die Liste der E-Mail-Adressen zu trennen, oder geben Sie eine Variable für die Mailingliste an.
- Skript: Data Services führt das in dieser Option angelegte benutzerdefinierte Skript aus.
- Ausnahme auslösen: Wenn eine Rechnungsprüfungsregel fehlschlägt, zeigt das Fehlerprotokoll die fehlgeschlagene Regel an. Der Job stoppt bei der ersten Rechnungsprüfungsregel, die fehlschlägt.
Diese Aktion ist die Standardaktion. Wenn die Aktion gelöscht wird und eine Rechnungsprüfungsregel fehlschlägt, wird der Job erfolgreich abgeschlossen, und das Audit schreibt keine Meldungen in das Jobprotokoll.
Wenn alle drei Aktionen ausgewählt wurden, führt Data Services sie in der angegebenen Reihenfolge aus.
Notiz
Die Option E-Mail an Liste verwendet die Funktion smtp_to, um eine E-Mail zu senden. Definieren Sie den Server und Sender für das Simple Mail Tool Protocol (SMTP) im Data-Services-Servermanager.
Auditstatus
Der Audit-Status kann an einem der folgenden Orte angezeigt werden:
| Aktion bei Fehler | Orte, an denen Sie Audit-Informationen anzeigen können |
|---|---|
| Ausnahme auslösen | Jobfehlerprotokoll, Metadatenberichte |
| E-Mail an Liste | E-Mail-Nachricht, Metadatenberichte |
| Skript | Überall dort, wo das benutzerdefinierte Script die Auditmeldungen sendet, werden Metadatenberichte |
Tracing-Audit
Das Auditing kann im Dialogfenster Jobausführungseigenschaften aktiviert oder deaktiviert werden.
Um die Ergebnisse des Audits im Protokoll anzuzeigen, können Sie Auditdaten verfolgen im Dialogfenster Jobausführungseigenschaften auf Ja setzen.