2022.02.05

移行コストがボトルネック？コストを抑えながらオンプレからクラウドに DWH を移行する方法とは？

Cloud
DWH
オンプレ
コスト

オンプレミスで運用しているデータウェアハウス（ DWH ）のデータをクラウド環境に移行したいと考えている方は多いのではないでしょうか。

DWH をクラウド化することで、生産性向上やコスト削減など多くのメリットを享受することができます。ただし、オンプレミスの DWH からクラウド環境へのデータ移行はコストがネックになるケースが多く、二の足を踏んでしまうことも少なくありません。

しかし、実はクラウドネイティブな DWH を使用することで、多額のコストを掛けることなく、漸進的に DWH のクラウド移行を実現することができます。本記事では DWH をオンプレミスからクラウドへ効率よく移行するための方法をご説明します。

オンプレミスとクラウドの違い

はじめにオンプレミスとクラウドの違いを理解しておきましょう。

オンプレミスとは、システム構築に必要なサーバーや回線、ソフトウェアなどを自社内またはデータセンター内に設置し、システムの構築から運用までを自社で行う形態を指します。ちなみに、オンプレミスは「オンプレ」の略称で呼ばれることも多いです。

一方クラウドとは、 IT システムに必要な IT 機器を自社で保有しない運用形態です。データセンターを自社で設置し管理する必要がないため、初期コストを大幅に抑えられるほか、スムーズな導入が可能になります。

オンプレミスとクラウドは対比されることが多い言葉であり、それぞれ異なる特徴を持っています。以下、代表的な違いを表で示します。

	オンプレミス	クラウド
コスト形態	資産	経費
初期費用	高め	低め
導入までの期間	数週間～数か月	アカウント登録後すぐ
カスタマイズ性	自由に可能	制限あり
セキュリティ	自社内ネットワーク環境下で運用	災害時に強い

オンプレミスとクラウドの違いに関しては、以下の記事が参考になります。
オンプレミスとクラウドの違いとは？メリット＆デメリット、移行の注意点も解説

データウェアハウス（ DWH ）とは？

データウェアハウス（ DWH ）とは、業務に関する情報をまとめて保管しておくためのデータベースです。様々なシステムからデータを保存し、それを分析するために整理する、データの保管庫のようなイメージです。

以前まで、データ管理は容易なことではなく、目的のデータを探すだけでも大変な労力が必要でした。さらに、古いデータは削除するなどのメンテナンスも発生しており、データ管理にとても多くの時間を費やしていたため、経営判断へのデータ活用は、ハードルが高いものとして避けられてきました。

しかし、 DWH の登場によって、大容量データから該当情報を抽出したり、重複を避けてデータを保存したりできるようになったため、従来の課題を解決することができるようになりました。企業が保有するデータ量が増加し、ビックデータ活用が求められる昨今のビジネスにおいて、 DWH は必要不可欠なツールと言えるでしょう。

DWH に関しては、以下の記事が参考になります。
データウェアハウス（DWH）とは？メリットや活用例まで一挙に紹介

DWH をクラウド化することの重要性

DWH のクラウド化を考える上では、企業のアナリティクス活動（データを分析・活用すること）の変化に注目する必要があります。

近年、企業が保有するデータのビッグデータ化が進んでいます。ビッグデータとは、以下の「3つの V 」から構成されると定義されているデータ群です。

Volume（データの量）
Variety（データの種類）
Velocity（データの発生頻度・更新頻度）

企業が扱うデータは、単にデータ量が増加しているだけではなく、その種類も構造化データ（エクセルや CSV などで綺麗に整理されているデータ）から非構造化データ（メールや PDF ファイル、動画や音楽データなど、日々の業務で作成された雑多なファイル）へと拡大しています。

また、従来のバッチ処理だけで済んでいたものがリアルタイム性が必要になるなど、データの鮮度も求められるようになりました。近年では AI 活用のユースケースまで登場しています。オンプレミスの DWH では、このように高度化したニーズに対応することは難しく、技術面やコスト面において課題を抱えている方も多いのではないでしょうか?

昨今、このような背景から多くの企業が DWH のクラウド化を検討しています。クラウドは定期的なアップデートにより、幅広いニーズに応えることができるため、オンプレミスと比較して柔軟なデータ基盤を構築することが可能になります。

しかし、 DWH のクラウド化の必要性は感じていながらも、まだクラウド移行には踏み切れていない企業が多いのが実情です。

企業の DWH のクラウド化を阻む壁

企業が DHW のクラウド化を検討するにあたり、大きな壁となっているのが移行コストの問題です。

システム更改を機とする環境移行においては、 DWH 単体のクラウド化は低コストで実現可能ですが、それ以外のアプリケーションの移行費用が非常に重くのしかかることが多いです。

クラウド化によって DWH 自体の費用は削減できるものの、アプリケーションの移行や開発の費用を考慮に入れた場合、全体としてオンプレミスの DWH を更改した方が安いという結論になり、クラウド化に踏み切ることができない方も多いのではないでしょうか？

クラウド化の大きな目的はコスト削減であるため、クラウド化による費用以外のメリットは理解されつつも、高いコストを掛けてまでクラウド移行する必要はないと判断されるケースが多くなっています。

このようなクラウド化を取り巻く課題を変えるべく登場したのが、 Google Cloud （GCP）の BigQuery に代表されるクラウドネイティブな DWH です。「コンピューティングとストレージが分離している」という特性をうまく活用することで、大きなコストを掛けることなく、漸進的にクラウド移行を進めることが可能になりました。

BigQuery に関しては、以下の記事が参考になります。
超高速でデータ分析できる！専門知識なしで扱えるGoogle BigQueryがとにかくスゴイ！

クラウドネイティブな DWH による漸進的なクラウド移行

前章で述べたクラウド移行の課題を解決するためには、クラウドネイティブな DWH が効果を発揮します。BigQuery のようにクラウドネイティブなアーキテクチャー（構造）で作られた DWH の特徴として、コンピューティングとストレージが分離している点が挙げられます。

「 pay-as-you-go 」と呼ばれる、使った分だけ課金される従量課金の体系を採用しており、かつ、コンピューティングとストレージそれぞれについて、課金は別々に発生します。

ストレージ部分はとても安価に使用することができ、 BigQuery の場合は「1 TB （テラバイト）あたり 20米ドル」と低い価格設定になっています。

以下、3つのステップに分けて、クラウド移行の手順をご説明します。

STEP1.オンプレミスとクラウドの並行運用

はじめにオンプレミスとクラウドの双方で DWH を運用する環境を構築します。オンプレミスの DWH に存在するデータをクラウドの DWH にコピーし、継続的にレプリケーション（複製）する仕組みを整備します。

前章でもご説明した通り、クラウドネイティブな DWH はストレージ料金が低価格に設定されているため、現実的な費用負担でクラウド DWH 上にデータを保管することができます。これらの対応により、オンプレミス・クラウド双方での DWH の並行運用が実現します。

繰り返しですが、ここでのポイントはクラウド DWH が超安価なストレージを搭載しているため、データのレプリケーションおよび蓄積だけであれば、大きなコストを掛けずに仕組みを構築できる点にあります。

STEP2.ワークロードをクラウド DWH へ徐々に移行

オンプレミスとクラウドの並行運用を実現した後は、ワークロード（作業負荷）をクラウド DWH へ徐々に移行していきます。

具体的には、新規のアプリケーションはクラウド DWH を使用して開発を進めていきます。また、オンプレミスの DWH を使っている既存のアプリケーションについては、下流のシステム更改などのタイミングで徐々にクラウド環境へ移行します。

このように、オンプレミスとクラウドで並行運用している DWH のワークロードを、節目節目で段階的にクラウド DWH へ寄せていくイメージになります。

ここでのポイントは、クラウド DWH ではコンピューティングも従量課金の対象となる点です。使った分だけ料金が発生する仕組みになっているため、事前に大きな投資判断をする必要はなく、現実的に可能なものから徐々にクラウドへ移行することができます。

STEP3.保守期限の到来とともに完全にクラウド移行

最後のステップとして、オンプレ DWH の保守期限の到来とともに完全にクラウドへ移行します。「 STEP2 」の作業を行っていれば、時間の経過とともにオンプレミスの DWH に残るアプリケーションは減少します。

そのため、クラウド化を実行に移す時点では、移行対象となるアプリケーション数も減少しており、システム更改全体の費用におけるアプリケーションの移行コストの割合を下げることが可能です。

つまり、クラウド移行におけるコスト構造を変えることができるため、アプリケーションの移行コストがネックになることなく、クラウド化を進められます。

本来、アプリケーションのクラウド移行は多額のコストが発生しますが、本章でご紹介した3つのステップを実践することで、無理のない斬新的なクラウド移行を実現することができます。

Google Cloud （GCP）で DWH をクラウド移行するための方法

はじめに Google Cloud （GCP）について、簡単にご説明します。

Google Cloud （GCP）は Google が提供しているパブリッククラウドサービスであり、同じ種別のサービスとしては、 Microsoft 提供の Azure や Amazon 提供の AWS などが挙げられます。

Google Cloud （GCP）は「 Gmail 」や「 YouTube 」などの有名サービスで実際に動いているプラットフォーム技術をそのまま使用できるため、非常に高いインフラ性能を誇ります。

「コンピューティング」「機械学習（ AI ）」「ビッグデータ解析」など、 Google Cloud （GCP）には様々な機能が搭載されており、企業の生産性向上や業務効率化を実現するための強い味方になります。

先ほどご紹介したクラウドネイティブな DWH である「 BigQuery 」も Google Cloud （GCP）に内包されているサービスであり、 Google Cloud （GCP）を活用することで、コストを抑えながら効率的に DWH のクラウド移行を進めることができます。

以下、 Google Cloud （GCP）でクラウド移行するための方法を2つご紹介します。なお、アプリケーションは徐々にクラウド側に寄せて運用するため、以下ではデータの移行方法に焦点を当ててご紹介します。

BigQuery Data Transfer Service を利用する場合

Google Cloud では「 BigQuery Data Transfer Service 」というマネージドサービスが提供されています。

BigQuery Data Transfer Service は、簡単な操作で BigQuery にデータをインポートできるサービスであり、オンプレミスの端末側に「移行エージェント」と「 JDBC ドライバー」をセットアップして、 BigQuery にデータを流す仕組みとなっています。

BigQuery Data Transfer Service を利用しない場合

BigQuery Data Transfer Service を利用しない場合は、オンプレミスの DWH から一旦「 Avro 」などのファイルに出力し、これを Google Cloud Strage にインプットします。

そして、 Google Cloud Strage のファイル格納を Pub / Sub で検知し、 Functions を使うことで BigQuery にデータを取り込むことが可能になります。

以上、2パターンの移行方法をご説明しましたが、 BigQuery Data Transfer Service の利用有無に関わらず、 Google Cloud （GCP）の各種機能はマネージドサービスとして提供されており、サーバーレスでクラウド DWH を構築可能という点は大きな魅力であると言えます。

マネージドサービスについては、以下の記事が参考になります。
マネージドサービスとフルマネージドサービスの違いとは？メリット・デメリットまで徹底解説！