Présentation de John : il est nouveau dans l'équipe et a été choisi pour travailler avec Sandra, un expert SAP Data Services, pour travailler sur un nouveau projet d'intégration.
Data Services fournit différents objets utilisés lors de la création d'applications d'intégration et de qualité des données.
Les objets principaux
Avant de pouvoir concevoir votre processus de transfert de données, vous devez créer une structure de projet.
Un projet est constitué d'un ou de plusieurs jobs qui peuvent être fractionnés en différents workflows.
Dans le job ou le workflow, vous serez alors en mesure de concevoir le processus ETL réel dans un flux de données.
Permettez-moi de le résumer de cette façon :
Le flux de données est principalement constitué d'une source (d'où proviennent les données) et d'une cible (où les données vont).
Ces sources et cibles peuvent être de deux types différents :
- Magasins de données (bases de données, applications, services Web...)
- Fichiers (formats) (fichiers plats, fichiers HDFS, classeurs Excel...)
Remarque
Vous pouvez concevoir une grande variété de transformations sur les données source en appliquant des transformations.
Ces transformations sont stockées dans quatre catégories différentes :
- Plateforme : transformations principales qui extraient des données et exécutent des calculs ou validations de base
- Data Integrator : principalement utilisé pour la conception Data Warehouse/Data Mart. Génère de nouvelles données ou modifie la structure des données source.
- Qualité des données : appliquez des modifications pour compléter, nettoyer ou augmenter les données source.
- Traitement des données de texte : pour l'analyse de texte.
Remarque
Voici un exemple de flux de données qui interroge des données à partir d'un fichier plat et stocke le résultat dans une table. La transformation Query est la plus utilisée des transformations de plateforme.
Outre ces objets essentiels, vous pouvez également importer à partir de magasins de données ou créer des fonctions. Ces fonctions peuvent être utilisées dans n'importe quelle expression que vous devez écrire pour filtrer ou calculer de nouvelles données, par exemple.
Bibliothèque d'objets locale
Tous les principaux objets que j'ai présentés se trouvent dans la bibliothèque d'objets locale.
La plupart des objets créés dans Data Services peuvent être réutilisés.
Une fois que vous avez défini et enregistré un objet réutilisable, Data Services stocke la définition dans le référentiel (la bibliothèque d'objets locale). Vous pouvez réutiliser la définition en créant des appels.
Par exemple, un flux de données dans un projet est un objet réutilisable. Plusieurs jobs, tels qu'un job de chargement hebdomadaire et un job de chargement quotidien, peuvent appeler le même flux de données. Si ce flux de données est modifié, les deux jobs appellent la nouvelle version du flux de données.
Vous pouvez modifier les objets réutilisables à tout moment, indépendamment du projet en cours. Par exemple, si vous ouvrez un nouveau projet, vous pouvez ouvrir un flux de données à partir d'un autre projet et le modifier. Les modifications apportées au flux de données ne sont pas stockées tant qu'elles ne sont pas sauvegardées.
Les objets d'orchestration
Projet, Job et Flux de données sont les trois principaux composants pour concevoir un processus de transfert de données. Mais bien sûr, vous devrez peut-être créer des flux plus complexes.
Autres objets utiles
- Scripts : pour exécuter une logique avant ou après l'exécution d'un flux de données (instanciation d'une valeur de variable, par exemple).
- Conditionals : pour exécuter des workflows ou des flux de données en fonction de conditions (valeur de variable ou existence de fichier par exemple).
- Boucles While : pour exécuter un workflow ou un flux de données plusieurs fois.
- Essayez Catch : pour gérer les exceptions dans vos flux de données.
Ces objets ne sont pas stockés dans le référentiel et ne sont donc pas réutilisables. Les objets à usage unique apparaissent uniquement en tant que composants d'autres objets. Ils ne fonctionnent que dans le contexte dans lequel ils ont été créés. Les objets à usage unique ne peuvent pas être copiés.