2022.04.14

超高速でデータ分析できる！専門知識なしで扱えるGoogle BigQueryがとにかくスゴイ！

Big Query
Cloud
データベース
分析

最近、超高速なクエリ機能であるGoogle BigQueryをよく耳にするようになってきました。名前の通り、Googleが提供する大規模なクエリを実行機能として持つデータウェアハウスサービスです。

データウェアハウス（Data Ware House）とは、一般に時系列に整理された大量のデータを格納するシステムであり、簡単にいうとデータの倉庫です。

今回は、

Google BigQueryとはどのようなものか？
どのような仕組みで、なぜ速いのか？
何がすごいのか？

などについて解説します。
データ解析に興味関心がある方、ビッグデータを活用したいと考えている方にとって有益な内容となっておりますので、ぜひ最後までご覧ください。

Google BigQueryとは？

改めて、Google BigQueryとは、Google Cloud Platformで提供されているビッグデータ解析サービスのことです。通常では長い時間かかるクエリを、数TB（テラバイト）、数 PB（ペタバイト）のデータに対し数秒もしくは数十秒で終わらせることができます。

クラウドなため、サーバーレスでスケーラビリティがあり、非常にコストパフォーマンスに優れています。他の多彩なGoogle Cloud Platformの提供するサービスともシームレスに連携もでき、扱いやすいサービスの一つです。

Google BigQueryが凄いところ

Google BigQueryが凄いところは、いくつかありますが、今回は以下の3点ご紹介します。

データの処理速度
データベースの専門知識なしで扱える
コストパフォーマンスの良さ

データの処理速度が早い

まず最初挙げたい点としては、データの処理が高速なところです。

通常の分析サービスであれば、GB（ギガバイト）程度であれば問題なく分析できますが、TB（テラバイト）規模になるとデータがなかなか返ってこないことが多いです。Google BigQueryは、さらにその上のPB（ペタバイト）規模のデータも高速で分析して、解を返すことができます。

約3GB（ギガバイト）のデータ処理の要した時間は1.2秒という驚異のスピードです。（2020年5月段階）

【参考記事】
【トップゲート主催】StudyJam Google Cloud Platform 無料ハンズオンラボの体験レポート

データベースの専門知識がなくても扱える

次に非常に扱いやすいという点が挙げられます。

通常、データウェアハウスのデータベースは特にクエリ用途などがある場合には必ずチューニングが必要です。テーブルや各種領域、インデックスなどに対し、最適な計算・シミュレーションなど必要です。当然データベースのスペシャリストが必要で、スペシャリストがいるか否かなども、チューニングパフォーマンスに影響します。

ところが、Google BigQueryはそれを必要としません。従来のデータベース概念とは異なり、今までデータベースでのクエリでは必須だったインデックスすら必要としません。つまりデータベースの専門知識がなくても高速クエリが可能となっています。

コストパフォーマンスが良い

最後にご紹介するのが、コストパフォーマンスが圧倒的に優れている点です。利用料金の目安も1TB（テラバイト）500円程度とものすごくリーズナブルであるため、愛用者が多いです。データ量が分析開始前にわかり、事前に処理に要する目安料金がわかり安心してサービス利用可能です。

いくら高速なサービスがあっても扱いにくくてコストが高いものであれば、なかなか拡まらないと考えられます。ところがGoogle BigQueryはクエリ機能に限っては、上述の通り扱いやすくかつコストも安いと、すべて揃っており、総合的にも凄いと言えるサービスでしょう。

データ処理が高速な理由

Google BigQueryのデータ処理が高速な理由は、ビッグデータでの検索を目的として設計されているからです。もともとGoogle BigQueryは、このコンセプトから設計されていたため、アーキテクチャもかなり高速に特化した独特なものになっています。

特徴的なのがクエリ処理のツリーアーキテクチャによる分散並列処理です。もともとのクエリ指示が複数のサーバーに対してツリー状に拡がっていき、並列にサーバー上で同時に分散処理を行います。この独自のアーキテクチャにより高速クエリを実現しています。

特徴的な仕組みについて

やはりなんと言ってもGoogle Cloud Platformの他の機能との連携が特徴です。

例えばBigQuery MLという機能を利用すると、機械学習モデルをCloud AI PlatformのTensorFlowなどに連携させ、クエリ結果を素早くAIと連携させることができます。

またData Analytics ProductsにLookerというデータ分析プラットフォームがあり、シームレスな連携が可能です。この連携よりクエリ結果を、データ統合、変換、分析、可視化、レポーティングすることができ、非常に強力なBIの結果を出すことができます。

このように、本来の高速クエリ機能と、強力なAI基盤やBI基盤との連携によりクエリ結果のデータをいち早く効率的にアウトプットにすることができます。

Google BigQuery の費用について

Google BigQueryの課金の特徴として、クエリに特化した独特なもの、とも言えます。

クラウド上のデータベースの一般的な課金方法としては、使用時間による課金で例えば1TB（テラバイト）のデータに対してサービスを利用した時間、というような課金で計算されます。ところがGoogle BigQueryはスキャンデータ量に対する課金が主となります。ストレージ利用料も時間でかかりますがかなり安価であり、どれだけのデータ量に対して処理を行ったか、という課金が主になります。

従って使い方にもよりますが、大きなデータ量などに対して重要なクエリを少ない回数で行う、というような処理に、より向いています。

費用のシミュレーションをする場合にはこのGoogle BigQueryの課金の特徴を把握した上で行う必要があります。使い方、適用の仕方によっては非常に安価なサービスと言えるでしょう。

※東京（asia-northeast1）の料金を掲載しております。

オペレーション	料金	詳細
アクティブストレージ	$0.023 (約2.5円)/ GB	毎月 10 GB まで無料。
長期保存	$0.016(約1.7円) / GB	毎月 10 GB まで無料。
BigQuery Storage API	$1.10(約117.1円) / TB	BigQuery Storage API は無料枠に含まれない。
ストリーミング挿入	$0.012(約1.3円) / 200 MB	挿入に成功した行が課金対象。最小サイズは 1 KB で、各行が計算される。
クエリ（オンデマンド）	$6.0(約642円)0 / TB	毎月 1 TB まで無料。
クエリ（1 時間単位の Flex Slots）（ベータ版）	500 スロットあたり $24.00(約2,568円)	追加のスロットは 500 スロット単位で購入可能。
クエリ（月定額））	$120,000(約107万円) / 500 slots	追加のスロットは 500 スロット単位で購入可能。
クエリ（年定額）	$10,200 (約109.15万円) / 500 slots	追加のスロットは 500 スロット単位で購入可能。