2022.02.05

Google のワークフロー構築サービス「 Cloud Composer 」とは？概要、特徴、料金体系、できることまで徹底解説！

Cloud Composer
ワークフロー

「 Cloud Composer 」というサービスをご存知でしょうか？ Google Cloud (GCP)に搭載されているワークフロー構築サービスであり、 Cloud Composer を使うことで Apache Airflow ベースのワークフローを作成することができます。
本記事では、 Google のワークフロー構築サービス Cloud Composer について、概要、特徴、料金体系、できることまで、一挙にご紹介します。

ワークフローとは？

Cloud Composer について説明する前に、まずは「ワークフロー」という言葉を正しく理解しましょう。

ワークフローは「 work （働く）」と「 flow （流れ）」という2つの英単語が組み合わされており、特定業務における一連の流れを意味する言葉です。 Google Cloud (GCP)におけるワークフローの概念としては、「データ処理などの作業が完了するまでの一連の流れ」とイメージしてください。

Google Cloud (GCP)のように膨大なデータを扱うサービスにおいて、ワークフローはとても重要な役割を持っています。ワークフローで作業の流れを明確に定義することで、各システムはワークフローに従ってアクションを実行し、毎回思い通りの結果を得ることができます。

仮にワークフローが機能していない場合、「システムを動かすためのルールがない」ということになるため、都度エンジニアが手作業で個別にアクション設定を行う必要があり、大きな工数が発生してしまいます。

そこで、Google Cloud (GCP)にはワークフローを構築するためのサービスとして「 Cloud Composer 」が搭載されています。サービス内容は次章で詳しくご紹介します。

Google のワークフロー構築サービス「 Cloud Composer 」とは？

Cloud Composer は Google Cloud (GCP)で提供されているワークフロー構築サービスです。 Google 公式サイトでは、 Cloud Composer を「ワークフローオーケストレーションサービス」と表現しています。オーケストレーションとは、システムやサービスにおける設定や運用管理の自動化を指す言葉です。

Cloud Composer を活用することで、 Google Cloud (GCP)上にワークフローを作成し、デプロイすることができます。デプロイとは、構築したサービスなどをサーバー上に展開・配置して、利用可能な状態にすることです。

また、 Cloud Composer は「 Apache Airflow 」のオープンソースプロジェクトをベースに構築されており、「 Python 」のプログラミング言語を使用して運用されています。 Apache Airflow は Python で実装されている Job 管理ツールであり、直感的でわかりやすい操作性が特徴です。

つまり、Cloud Composer を使えば、 Apache Airflow をベースとした操作性の高いワークフローを Google Cloud (GCP)の環境に構築し、デプロイや運用管理までを一気通貫で実現できるということです。

Cloud Composer の5つの特徴

フルマネージドサービスとして提供

フルマネージドサービスとは、ほぼすべてのサーバー管理・運用をサービス提供者が行うサービスです。 Cloud Composer の場合は、サービス提供者である Google が責任を持って運用管理業務を代行してくれます。

そのため、管理者が煩雑な作業を行う必要はなく、本来注力すべきワークフロー作成にリソースを集中することができます。 Cloud Composer の運用は Google の優秀なエンジニアチームに任せることができ、手間なく安全な環境でサービスを運用することが可能です。

フルマネージドサービスについては、以下の記事が参考になります。
マネージドサービスとフルマネージドサービスの違いとは？メリット・デメリットまで徹底解説！

Apache Airflow ベースで構築

前章でもご説明した通り、 Cloud Composer は Apache Airflow のオープンソースプロジェクトで構築されたサービスであるため、ベンダーロックインのリスクを解消してくれます。

ベンダーロックインとは、特定ベンダーの独自技術に依存したサービスを導入した際、他サービスへの乗り換えが困難になる現象を指す言葉です。特定ベンダーへの依存は保守面・コスト面で様々な課題がありますが、 Cloud Composer であれば安心して運用することができます。

Google Cloud (GCP)の他サービスと連携可能

Cloud Composer は Google Cloud (GCP)の様々な他サービスと連携可能です。

連携可能なサービスとしては、例えば以下のものが挙げられます。

BigQuery
Dataflow
Dataproc
Datastore
Cloud Storage
Pub/Sub
AI Platform

これらの Google Cloud (GCP)のプロダクト群と Cloud Composer をエンドツーエンドに統合することで、パイプライン（処理プロセス）を自由自在に設定可能になり、自社にとって最適な運用を実現することができます。

ハイブリッドクラウドとマルチクラウドに対応

利用用途に応じてクラウド環境を分けて運用している企業も多いですが、 Cloud Composer はハイブリッドクラウドやマルチクラウドに対応しているため、様々なニーズに応えることができます。

単一のツールでワークフローを作成し、スケジューリングやモニタリングまで一気通貫で実行することができます。

ハイブリッドクラウドやマルチクラウドに関しては、以下の記事が参考になります。
ハイブリッドクラウドとマルチクラウドの違いとは？メリット・デメリットについても徹底解説

容易なオーケストレーション

オーケストレーションとは、システムやサービスにおける設定や管理の自動化を意味する言葉です。Cloud Composer は容易なオーケストレーションが特徴の一つであり、ユーザーが容易に使えるサービス構成となっています。

例えば、デプロイはワンクリックで完了しますし、実行中のワークフローは様々な形式でグラフィカルに表示することが可能です。そのため、自社の業務負荷軽減に直結し、社員はより生産性の高い業務に集中することができます。

Cloud Composer の料金体系

Cloud Composer は従量課金制を採用しており、「ウェブのコア時間」「データベースのコア時間」「ウェブとデータベースのストレージ」「ネットワーク（下り）」の使用量に応じて、課金が発生する仕組みとなっています。

以下、Cloud Composer の料金体系を表にまとめました。

項目	料金
ウェブのコア時間	0.098米ドル / vCPU 時間
データベースのコア時間	0.163米ドル / vCPU 時間
ウェブとデータベースのストレージ	0.354米ドル / GB / 月
ネットワーク（下り）	0.156米ドル / GB

なお、上記は東京リージョンでの金額であり、地域ごとに若干の料金差があります。自社が利用するリージョンを事前に確認してください。

また、上記に加えて、環境内のワーカーとスケジューラーのために使用される Google Kubernetes Engine のノード料金が発生するため、その点は注意が必要です。

なお、プライベート IP モードで Cloud Composer 環境を作成した場合、ウェブサーバーに関連する料金は2倍になります。これは、プライベート IP モードでは、ロードバランサーの背後で2つのウェブサーバーインスタンスが実行されるためです。

Cloud Composer は使った分だけ料金が発生するため、高額請求のリスクを避けるために料金体系を正しく把握しておきましょう。なお、 Google が提供している料金計算ツールを使うことで、請求金額を簡単に算出できるため、積極的に活用することをオススメします。

Cloud Composer でできること

自社の生産性向上を実現できる

Cloud Composer はフルマネージドで提供されるサービスであるため、自社の作業工数を削減することができます。また、 Apache Airflow ベースの使いやすいインターフェイスに加えて、 DAG 構成によりユーザーが簡単に操作できるように設計されています。

このように、 Cloud Composer は会社の生産性向上に直結するソリューションです。 Cloud Composer を活用することで、煩雑な作業を行う必要はなくなり、本来注力すべき業務に集中することが可能です。

ベンダーロックインを回避できる

Apache Airflow のオープンソースプロジェクトで構築された Cloud Composer は、各ベンダーの依存性を低減し、ベンダーロックインを回避することにも寄与します。

ベンダーロックインとは、特定のベンダー及びサービスの機能や技術に依存してしまい、システムの柔軟性が失われる問題です。具体的には、予期せぬサービス終了や価格改定などが該当しますが、ベンダーへの依存度が高い場合、ビジネスに与える影響度もそれに応じて高くなるリスクが存在します。

しかし、 Cloud Composer ならベンダーロックインを回避しつつ、安定的にビジネスを継続することが可能です。

複数環境にまたがるワークフローを作成できる

Cloud Composer を活用することで、複数環境にまたがるワークフローを作成できます。例えば、オンプレミスとパブリッククラウドにまたがるワークフローをオーケストレートすれば、クラウドへの移行が容易になり、ハイブリッドなデータ環境を維持することが可能です。

また、複数のクラウド環境で利用することもでき、データの接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を構築することができます。

このように、複数環境に対して単一ツールでワークフローを構築し、スケジューリングやモニタリングまで一気通貫で実行できる Cloud Composer は、企業成長を大きく後押しするツールであると言えるでしょう。

まとめ

本記事では、 Google のワークフロー構築サービス Cloud Composer について、概要、特徴、料金体系、できることまで、一挙にご紹介しました。

Cloud Composer を活用することで、 Google Cloud (GCP)上に手間なく簡単にワークフローを作成でき、スケジューリングやモニタリングまで一気通貫で実行することができます。また、ベンダーロックインの回避やハイブリッドクラウド・マルチクラウドの対応など、企業にとって嬉しいポイントが多数存在します。

そして、 Google Cloud (GCP)を契約するのであれば、トップゲートがオススメです。トップゲート経由で契約することで