Google Cloud (旧GCP) で構築できる「データレイク」とは？概要、メリット、構築方法、ユースケースまで徹底解説！

2022.02.10

Google Cloud (GCP) で構築できる「データレイク」とは？概要、メリット、構築方法、ユースケースまで徹底解説！

データレイク
活用事例

「データレイク」という言葉をご存知でしょうか。データレイクを使うことで、膨大な量のデータを生の状態で保存しておくことができ、保管したデータを分析することで、企業の意思決定など様々な用途で利用することができます。

実は Google が提供する Google Cloud (GCP) を活用することで、データレイクを構築することが可能になります。本記事では Google Cloud (GCP) でのデータレイク構築について、概要、メリット、構築方法、ユースケースなど、様々な観点から一挙にご紹介します。

データレイクとは？

データレイクとは、膨大な量のデータをそのまま（生データのまま）格納することができるストレージレポジトリです。レポジトリとは、「貯蔵庫、倉庫」の意味を持つ英単語であり、ストレージレポジトリはデータの保管場所を意味する言葉です。

データレイクは様々な形式の非構造化データについて、形式を変えることなく保管できる点が大きな特徴です。非構造化データとは、構造化データベース形式で格納されていない大量のファイルを指す言葉であり、メディア、画像、音声、センサーデータなど、あらゆる種類のデータが該当します。

もちろん、非構造化データだけでなく、構造化データや半構造化データを保管することも可能であり、種類を問わずにすべてのデータを一箇所に保管することができます。

近年、企業が保有するデータ量は増加しており、かつ、データの種類は多岐にわたるため、データレイクの重要性は益々高まっていると言えます。

データレイクを活用して、ファイル形式を変換することなく忠実度の高いデータを保存することで、自社におけるデータ分析の精度を高めることができます。また、分析結果を経営戦略に反映することで、よりユーザーニーズにマッチした戦略策定が可能になります。

データレイクとデータウェアハウスの違いについて理解を深めたい方は以下の記事がオススメです。

データの定義からデータレイクとデータウェアハウス（DWH）の違いをわかりやすく解説！

データレイクのメリット

コスト削減を実現できる

データレイクは専用のハードウェアや高いライセンス料金が不要であり、一般的なサーバーの OSS （オープンソースソフトウェア）で起動することができます。そのため、 DWH （データウェアハウス）と比較して、コストを削減することができます。

DWH （データウェアハウス）に関しては、以下の記事が参考になります。
データウェアハウス（DWH）とは？メリットや活用例まで一挙に紹介

必要なデータを瞬時に検索できる

データレイクへ保存した生データはそのまま使うことができず、はじめに付帯情報を追加する必要があります。この付帯情報が付与されたデータは「メタデータ」と呼ばれており、メタデータをカタログに登録してインデックスを作成することで、必要なデータをすぐに検索できるようになります。

Google Cloud (GCP) では「 Data Catalog 」と「 Dataproc Metastore 」というサービスを利用してメタデータを管理することができます。

Data Catalog はフルマネージド（すべての作業をサービス提供者が実施する）のメタデータ管理サービスであり、柔軟にスケール（拡張）できる点が大きな特徴です。煩雑なインフラストラクチャの設定・管理が不要なため、手間をかけずに利用することができます。

Dataproc Metastore は Google Cloud (GCP) が提供しているメタストア（メタデータを管理するデータベース）です。 Dataproc Metastore もフルマネージドで提供されており、高い可用性（システムやサービスが停止することなく稼働し続ける能力）が特徴のサービスとなっています。

あらゆるデータをそのままの状態で保管できる

データレイクは様々な種類のデータを形式を変えずに一箇所に保管できるため、分析までの時間を短縮することが可能になります。人工知能（ AI ）と組み合わせることで複雑なデータ分析を行うことも可能であり、企業の経営戦略を考える上で重要な判断材料になります。

ビッグデータの処理を効率化できる

データレイクはビッグデータの処理を主眼に置いて開発されたサービスです。ビッグデータとは「膨大かつ多様性に富み、リアルタイム性などを有している非構造化データ」を指す言葉です。

本来、ビッグデータの処理は時間も手間もかかりますが、データレイクは元データを変換することなく、バッチまたはストリーミングでデータレイク上にデータを移すことが可能なため、生産性向上や業務効率化を実現することができます。

ビッグデータに関する詳細は、以下の記事が参考になります。
ビッグデータとは何か？7業種のクラウドによるデータ活用事例をご紹介！

データレイクのデメリット

単なるデータの置き場所になってしまう

データレイクは形式を問わずにデータを保管できる点が大きな特徴ですが、適切に管理を行わなければ、大量のデータが散らばって存在するだけの意味のない場所になってしまいます。

データが整理されていない状態では、欲しいデータを検索することは困難であり、本来のデータレイクの目的を果たすことはできないため、正しく使うための運用ルールを決めておくことが大切です。

構築・運用において専門知識が必要になる

データレイクを構築・運用するためには、一定の専門知識が必要になります。例えば、データレイクを構築するためのコーディングやリソースバランスの細かい調整などが挙げられます。

自社に専門知識を持った人間がいない場合は、外部から人材を募集する必要があり、それに伴い人的コストも発生します。加えて、高度な知識を持った人材を採用するのは容易ではないため、自社ですべてを完結するのは困難なケースが多いです。

Google Cloud (GCP) とは？

Google Cloud (GCP) は Google が提供するパブリッククラウドサービスです。同じ種別のサービスとしては、 Microsoft 提供の「 Azure 」や Amazon 提供の「 AWS 」などが挙げられます。

Google Cloud (GCP) は、セキュアで高い安定性を持つ Google の IT プラットフォーム環境を自社で利用することができます。ビッグデータや Google Workspace との連携など、『クラウド利用を越えた先の IT 戦略』をシームレスに実現することが可能です。

また、「 BigQuery 」などの優れたデータ解析ツールが用意されているため、一部のエキスパートだけでなく、組織全体でデータを活用し、経営戦略の策定や業務改善に繋げていくことが可能です。

さらに Google Cloud (GCP) の多種多様なサービスを活用することで、データレイクを構築することができます。次章以降で詳しくご説明します。

Google Cloud (GCP) でデータレイクを構築するメリット

手間なく迅速にデータレイクを構築できる

Google Cloud (GCP) のデータレイクは様々なソースからデータを取り込み、ユーザーの手間をかける事なくデータレイクまで運ぶことができます。また、数クリックでデータを複製するなど、シンプルかつ直感的に操作することが可能です。

さらに、メタデータの活用で全データをカタログ化し、データレイク全体を簡単に探索できるほか、 Google Cloud (GCP) の「 Cloud Data Fusion 」を使用することで、コーディングなしでデータレイク内のデータを整理・標準化できるため、専門知識が不要な点も嬉しいポイントです。

このように Google Cloud (GCP) ならではの独自の機能により、ユーザーは手間なく迅速にデータレイクを構築することが可能になります。

安全な環境でデータレイクを運用できる

データレイクは貴重な企業データが入っているプラットフォームであるため、データの管理や保護は重要なポイントです。

Google Cloud (GCP) にはデータレイクを安全に活用するためのセキュリティに関する機能が多く搭載されています。データレイクのあらゆるレベルでアクセス制御やアプリケーション制御を行うことができ、必要に応じて管理者向けに監査ログのレポートを提供することも可能です。

データレイクへ容易にアクセスできる

データレイクの有効性を高めるためには、データレイクへ容易にアクセスできる必要があります。 Google Cloud (GCP) は一般的な OSS ツールからデータレイク内のデータへ自動的にアクセスし、各種処理を実行することができます。

Google Cloud (GCP) でデータレイクを構築するための方法

データレイクを構築するためには、「データの保存」「データの取り込み」「データの処理・分析」の3ステップを進めていく必要があります。

本章では、各ステップごとに分けて Google Cloud (GCP) でデータレイクを構築するための方法と具体的なサービスをご紹介します。

1.データの保存

まずはデータを保存するための場所を準備します。データレイクのストレージリポジトリとしては、 Google Cloud (GCP) の「 Cloud Storage 」が適しています。

Cloud Storage は小さいサイズからエクサバイト単位の大きなサイズまで、データレイクを自由自在に拡張できます。さらに Cloud Storage は高い耐久性を誇っており、「 99.999999999% 」の年間耐久性を実現するように設計されています。

加えて、 Cloud Storage は様々なニーズに対応できるように複数のストレージプランが用意されているため、自社要件とコストを天秤にかけながら最適なサービスを選択することができます。加えて、 Cloud Storage は「 BigQuery 」や「 Dataflow 」など、強力な Google Cloud (GCP) サービスとネイティブに統合でき、スムーズにデータ分析を進めることが可能です。

また、データレイクにはあらゆるデータが保存されるため、データが悪用されないようにするためのアクセス制御は必要不可欠です。 Cloud Storage は詳細なアクセス制御を実装するためのメカニズムを多数用意しているため、安全な環境でデータレイクを運用していくことができます。

2.データの取り込み

データの取り込みは「 Pub / Sub 」と「 Dataflow 」を利用します。リアルタイムデータを直接 Cloud Storage に取り込み・保存を行い、データ量に応じて入出力の両方をスケーリングすることができます。

また、大量のデータを移動するためには、データ転送のスケジューリング、ソースとシンク間でのファイル同期など、様々な問題に対応する必要がありますが、「 Storage Transfer Service 」を使えば、これらのタスクを実行するための堅牢なメカニズムを利用することができます。

さらに、分析するために膨大なデータをクラウド環境に移行する場合は「 Transfer Appliance 」でオフライン移行することで、時間短縮に繋がるケースもあります。ただし、 Transfer Appliance の対象ロケーションは「米国、カナダ、 EU 、ノルウェー、スイス」の5箇所となっており、日本は対応していないので注意してください。