Il est possible de collecter des statistiques sur les données qui sortent de n'importe quel objet Data Services, comme une source, une transformation ou une cible.
Ces statistiques peuvent aider à déterminer si le flux de données s'est exécuté comme prévu.
L'audit vous permettra de savoir que quelque chose ne va pas, mais vous devrez ensuite enquêter pour comprendre ce qui s'est passé. Il peut s'agir de données source erronées comme dans l'exemple précédent, d'un élément manquant dans la configuration de la transformation ou d'un problème avec le processus de chargement.
Configuration de l'audit
Pour utiliser l'audit, vous devez :
- Définition de points d'audit : les points d'audit collectent et stockent les statistiques d'exécution sur les données qui sortent des objets.
- Définir les règles : utilisez les statistiques d'exécution pour définir des règles qui vérifient que les données à des points spécifiques d'un flux de données correspondent à ce que vous attendez. La vérification a lieu lorsque les données atteignent le mouvement suivant dans le flux de données :
- Extrait des sources.
- Traité par les transformations.
- Chargé dans cibles.
- Générer une notification d'exécution : la notification inclut une liste des règles d'audit qui ont échoué et les valeurs des statistiques d'audit au moment de l'échec.
- Afficher les statistiques d'audit : après l'exécution d'un job, les statistiques d'audit identifient le ou les objets du flux de données qui ont généré des données incorrectes.
Points et étiquettes d'audit
Un point d'audit représente l'objet dans un flux de données où les statistiques sont collectées. Auditer une source, une transformation ou une cible dans un flux de données.
Lorsque des points d'audit sont définis sur des objets dans un flux de données, spécifiez une fonction d'audit. Une fonction d'audit représente les statistiques d'audit collectées par Data Services pour une table, un schéma de sortie ou une colonne.
Les fonctions d'audit disponibles dépendent du type de point d'audit.
Fonctions d'audit
Sélectionnez l'une des fonctions d'audit suivantes :
| Objet de données | Fonction | Description |
|---|---|---|
| Table ou schéma de sortie | Comptage | Cette fonction collecte deux statistiques :
Le type de données de cette fonction est integer. |
| Colonne | Total | Somme des valeurs numériques dans la colonne. Cette fonction inclut uniquement les bonnes lignes. Cette fonction s'applique aux colonnes avec un type de données entier, décimal, double et réel. |
| Colonne | Moyenne | Moyenne des valeurs numériques dans la colonne. Cette fonction inclut uniquement les bonnes lignes. Cette fonction s'applique aux colonnes avec un type de données entier, décimal, double et réel. |
| Colonne | Total de contrôle | Détecte les erreurs dans les valeurs de la colonne à l'aide de la valeur Total de contrôle. Cette fonction s'applique uniquement aux colonnes dont le type de données est varchar. |
Une étiquette d'audit représente le nom unique dans le flux de données généré par Data Services pour les statistiques d'audit. Les étiquettes d'audit sont collectées pour chaque fonction d'audit définie sur chaque point d'audit.
Étiquettes d'audit
Si le point d'audit se trouve sur une table ou un schéma de sortie, ces deux étiquettes sont générées pour la fonction Compter audit :
$NomObjet_compteur
$CountError_objectname
Si le point d'audit se trouve sur une colonne, l'étiquette d'audit est générée avec le format suivant :
$auditfunc_objectname
Remarque
Définir des règles de contrôle et des actions
Utilisez des règles d'audit lors de la comparaison des statistiques d'audit pour un objet par rapport à un autre objet. Par exemple, utilisez une règle d'audit pour vérifier que le nombre de lignes de la table source est égal à celui des lignes de la table cible.
Une règle d'audit est une expression booléenne qui se compose d'un côté gauche (LHS), d'un opérateur booléen et d'un côté droit (RHS). Le LHS peut être une seule étiquette d'audit, plusieurs étiquettes d'audit qui forment une expression avec un ou plusieurs opérateurs mathématiques, ou une fonction avec des étiquettes d'audit comme paramètres. En plus de la LHS, la RHS peut aussi être une constante.
Exemples de règles de contrôle
- $Count_CUSTOMER = $Count_CUSTDW
- $Sum_ORDER_US + $Sum_ORDER_EUROPE = $Sum_ORDER_DW
- round($Avg_ORDER_TOTAL) >= 10000
Actions d'audit
Sélectionnez une combinaison des actions répertoriées pour la notification d'un échec d'audit :
- E-mail à la liste : Data Services envoie une notification indiquant que la règle d'audit a échoué aux adresses e-mail répertoriées dans cette option. Utilisez une virgule pour séparer la liste des adresses e-mail ou spécifiez une variable pour la liste de distribution.
- Script : Data Services exécute le script personnalisé créé dans cette option.
- Déclencher une exception : lorsqu'une règle d'audit échoue, le journal des erreurs affiche la règle qui a échoué. Le job s'arrête à la première règle d'audit qui échoue.
Cette action est la valeur par défaut. Si l'action est effacée et qu'une règle d'audit échoue, le job se termine correctement et l'audit n'écrit pas de messages dans le journal du job.
Si les trois actions sont sélectionnées, Data Services les exécute dans l'ordre présenté.
Remarque
L'option E-mail à la liste utilise la fonction smtp_to pour envoyer un e-mail. Définissez le serveur et l'expéditeur pour le Simple Mail Tool Protocol (SMTP) dans le Gestionnaire de serveurs Data Services.
Statut de l'audit
Le statut de l'audit peut être affiché à l'un des emplacements suivants :
| Action en cas d'échec | Lieux où vous pouvez afficher les informations d'audit |
|---|---|
| Déclencher une exception | Journal des erreurs du job, rapports de métadonnées |
| Envoyer par e-mail à la liste | Message électronique, rapports de métadonnées |
| Script | Partout où le script personnalisé envoie les messages d'audit, Rapports de métadonnées |
Suivi de l'audit
L'audit peut être activé ou désactivé dans la boîte de dialogue Propriétés d'exécution du job.
Pour afficher les résultats de l'audit dans le journal, vous pouvez définir Effectuer le suivi des données d'audit sur Oui dans la boîte de dialogue Propriétés d'exécution du job.