John を紹介しましょう。John はチームにとって初めてであり、SAP Data Services エキスパートの Sandra と協力して新しい統合プロジェクトに取り組むことに選ばれました。
Data Services は、データ統合およびデータ品質アプリケーションを構築する際に使用する、さまざまなオブジェクトを提供します。
主要オブジェクト
データ転送プロセスを設計する前に、プロジェクト構造を登録する必要があります。
プロジェクトは、さまざまなワークフローに分割できる 1 つまたは複数のジョブで構成されます。
これにより、ジョブまたはワークフローで、データフロー内の実際の ETL プロセスを設計できるようになります。
以下にまとめてみましょう。
データフローは、主にソース (データの取得元) とターゲット (データの送信先) で構成されます。
これらのソースとターゲットには、以下の 2 つの異なるタイプがあります。
- データストア (データベース、アプリケーション、Web サービスなど)
- ファイル (形式) (フラットファイル、HDFS ファイル、Excel ワークブックなど)
注記
変換を適用することで、ソースデータにさまざまな変換を設計することができます。
これらのトランスフォームは、以下の 4 つの異なるカテゴリに保存されます。
- プラットフォーム: データを取得し、一部の基本計算または検証を実行するメイントランスフォーム
- Data Integrator: 主にデータウェアハウス/データマート設計に使用されます。新しいデータを生成するか、ソースデータの構造を変更します。
- Data Quality: 修正を適用して、ソースデータを完了、クレンジング、または強化します。
- テキストデータ処理 : テキスト分析用です。
注記
以下は、フラットファイルからデータをクエリし、結果をテーブルに格納するデータフローの例です。Query トランスフォームは、プラットフォームトランスフォームで最もよく使用されます。
これらの重要なオブジェクトのほかに、データストアからインポートしたり、関数を作成したりすることもできます。これらの関数は、たとえば、新しいデータをフィルタリングまたは計算するために書き込む必要がある式で使用することができます。
ローカルオブジェクトライブラリ
提示したすべてのメインオブジェクトは、ローカルオブジェクトライブラリにあります。
Data Services で作成されたオブジェクトのほとんどを再利用することができます。
再利用可能なオブジェクトを定義して保存すると、Data Services はその定義をリポジトリ (ローカルオブジェクトライブラリ) に保存します。この定義は、必要に応じて呼出を登録することで再利用することができます。
たとえば、プロジェクト内のデータフローは再利用可能なオブジェクトです。週次ロードジョブや日次ロードジョブなどの複数のジョブで、同じデータフローを呼び出すことができます。このデータフローが変更されると、両方のジョブによってデータフローの新しいバージョンが呼び出されます。
現在開いているプロジェクトに関係なく、再利用可能なオブジェクトをいつでも編集することができます。たとえば、新しいプロジェクトを開くと、別のプロジェクトからデータフローを開いて編集することができます。データフローに対して行われた変更は、保存されるまで保存されません。
オーケストレーションオブジェクト
プロジェクト、ジョブ、およびデータフローは、データ転送プロセスを設計するための 3 つの主要コンポーネントです。ただし、より複雑なフローの作成が必要になる場合もあります。
その他の有用なオブジェクト
- スクリプト: データフローの実行前または実行後にロジックを実行します (変数値のインスタンス化など)。
- 条件式: 条件 (変数値やファイル存在など) に応じてワークフローまたはデータフローを実行します。
- While ループ: ワークフローまたはデータフローを複数回実行します。
- Catch を試してください: データフローで例外を管理します。
これらのオブジェクトはリポジトリに保存されないため、再利用できません。シングルユースオブジェクトは、他のオブジェクトのコンポーネントとしてのみ表示されます。これらは、登録されたコンテキストでのみ動作します。シングルユースオブジェクトはコピーできません。