データプロビジョニングの説明

データプロビジョニングは非常に幅広い用語であり、ソースシステムからターゲットシステムへのデータ取得を意味します。ターゲットシステムに物理的にロードしなくてもデータを取得できるため、取得という言葉は推奨されますが、データロードは推奨されません。実際、テクノロジーの進歩により、組織内でのデータの移動は一般的ではなくなってきています。多くの場合、データをリモートで読み込む方がはるかに簡単です。

データプロビジョニングが必要な理由は数多くあります。その例を以下に挙げます。

• ビジネスアプリケーションからデータを抽出し、中央のデータウェアハウスにロードする
• 分析のためのデータソースへのリアルタイムアクセスの提供
• セントラルシステムから地域システムへのデータ配信
• 複数のシステムからセントラルシステムへのデータの統合
• システムの同期を維持
• レガシシステムから新規システムへのデータ移行

最も単純なデータプロビジョニングシナリオでは、ソースとターゲットの 2 つのシステムのみが関連します。しかし、多くの場合、複数のシステムが関係しています。たとえば、複数のソースシステムからのデータを単一のターゲットシステムに結合することができます。また、データを複数の対象システムに配信する単一のソースシステムという逆方向に進む場合もあります。最後に、複数のソースシステムによるデータの統合と複数の対象システムへの配信の両方を組み合わせることもできます。

データプロビジョニングの背後にある基本コンセプトの詳細については、以下のビデオを起動してください。

データプロビジョニングは、スタンドアロンの特殊なアプリケーション、またはデータベースの組込ツールを使用して制御できます。それぞれのアプローチについて考えてみましょう。

アプリケーション制御のデータプロビジョニングは、専用アプリケーションがデータフローを制御する場合です。これらのアプリケーションには、データソースおよびデータターゲットに接続し、システム間のデータ移動方法を決定するデータフロールールを定義するツールが用意されています。専用のデータプロビジョニングアプリケーションの例として、SAP Data Services、SAP Landscape Transformation、SAP Datasphere などがあります。

このアプリケーション制御アプローチでは、アプリケーションがソースデータベースからデータを抽出し、ターゲットデータベースにロードします。抽出ルール、制御ロジック、およびロード方法は、アプリケーションによって管理されます。データプロビジョニングアプリケーションは、システム間のデータ移動のオーケストレータと考えてください。場合によっては、データプロビジョニングアプリケーションによってソースデータが抽出され、ターゲットシステムに送信される前に一時的に保存されます。これは、複数のデータソースを組み合わせる必要があり、データを同期するためにステージングエリアが必要で、異なる時刻に到達する場合によく見られます。

専用のデータプロビジョニングアプリケーションを使用する主な理由の 1 つは、さまざまなテクノロジーを使用しているか、異なるベンダからの複数のデータソースを使用している場合です。通常、これらの専用アプリケーションでは、データベース、CSV ファイル、JSON ファイル、Web サービスなど、任意のソースのデータを処理することができます。一部は、ビジネスアプリケーションに直接接続することもできます。たとえば、SAP BW/4HANA は、データベーステーブルからではなく、アプリケーションレベルで SAP S/4HANA から抽出します。この場合、データフローロジックは、物理ストレージテクノロジーよりも高いレベルで構築されます。

次に、データベース制御のデータプロビジョニングを見てみましょう。

基本的な要件は、データベースでデータプロビジョニングツールが提供されることです。最も単純なタイプのデータプロビジョニングツールには、あるデータベースから別のデータベースにデータを移動するためのエクスポートおよびインポートツールがあります。ただし、SAP HANA などの一部のデータベースには、データの結合、データのチェック、データの拡張を必要とするものなど、複雑なデータプロビジョニングシナリオを処理するための高度なツールが用意されています。データベースの組込ツールを使用してデータプロビジョニングを管理すると、前述のように、個別のデータプロビジョニングアプリケーションを実装する必要がなくなります。このアプローチでは、よりシンプルなランドスケープがサポートされます。

データベース提供ツールの使用とは、データベース制御のデータプロビジョニングを意味します。データフローは、データベースの一部であるツールを使用して制御されます。

このコースでは、SAP HANA オンプレミスおよび SAP HANA Cloud の組込データプロビジョニングツールについて説明します。

前述のように、データプロビジョニングは、ターゲットシステムにデータをロードする必要があることを必ずしも意味するわけではありません。データをソースシステムから読み込み、データが必要になった時点でターゲットシステムに提供することができます。対象システムでデータの読込が終了すると、接続は強制終了され、データは移動されません。これはデータ仮想化と呼ばれます。また、特にこの手法を使用して接続されたシステムのネットワークがある場合は、データフェデレーションと呼ばれることもあります。

このアプローチを検討する主な理由の 1 つは、データが頻繁に変更され、最新バージョンのデータのみが読み込まれるようにする場合です。また、ソースデータが非常に時々しか読み込まれない場合もあるため、ソースデータを継続的にロードし、対象システムに書き込むことでコピーを作成しても意味がありません。

データ仮想化に関する懸念事項の 1 つは、ターゲットアプリケーションで必要になるたびにネットワーク全体にデータを移動する必要があるため、パフォーマンスが満足できない可能性があることです。これは、データ量が少ない間は問題にはならないかもしれませんが、通常、データボリュームは時間の経過とともに増加するため、有効なソリューションとして開始されるものはすぐに機能しなくなる可能性があります。ただし、データを対象システムに移動する決定を下す前に、常にデータ仮想化を考慮する必要があります。

システム間でデータを同期する必要がある場合、これはデータ複製を実装する場合です。データは、通常は変更なしで 1 つのシステムから別のシステムにコピーされます。これは、ターゲットシステムで実行されているアプリケーションで常に最新のデータが使用されるように、ターゲットシステムではソースシステムの変更時にデータがキャプチャされるという考え方です。複製は、リアルタイム (同期) またはほぼリアルタイム (非同期) で行われます。

レプリケーションは、仮想化が適切な選択ではない場合と、ターゲットシステムにロードされる前にデータが変換または集計を必要としない場合によく使用されるオプションです。

データを複製する場合は、データボリュームを注意深く監視する必要があります。これは、大量のデータを生成するシステムから複製すると、対象システムに非常に迅速に入力できるためです。これは特に、ソースデータの粒度が非常に高い場合に当てはまります。レプリケーションでは、通常、レコードのフィルタリングや集計を行わずに 1 対 1 でデータが抽出されるためです。

ターゲットシステムにロードする前に抽出されたデータを変更する必要がある場合は、データ変換と呼ばれます。変換は非常に幅広い用語であり、必要なもののみをロードするためにデータにフィルタを適用するのと同じくらい単純な意味があります。また、ソースデータから新しい値を生成することも意味します。たとえば、販売価格と原価を提供する各レコードの利益を計算します。変換は、欠落している項目の入力および値のチェックを参照する場合もあります。変換では、複数のシステムからのデータをマージすることができます。また、データを分割し、複数の対象システムに配信する方法を決定するルールを定義することもできます。

複製と同様に、データ変換では 1 つまたは複数のソースシステムからデータが取得され、ターゲットシステムにロードされます。主な違いは、通常、レプリケーションではデータが変更されないのに対し、変換ではデータが変更されないことです。

複製の変換の利点の 1 つは、大量の個別トランザクションをロードするのではなく、集計ルールを適用してデータを集計できることです。そのため、データの増加を制御できます。ただし、データランドスケープが変更されるにつれて、変換はすぐに複雑になり、保守が困難になる可能性があります。