2023.03.13

Google研究チームが語る！AI（機械学習）の取り組みにおける5つの最新トレンド

AlphaZero
Cloud
ディープラーニング
機械学習

本記事は、2022年4月19日に開催された Google の公式イベント「 Google Cloud ML サミット」において、 Google Cloud ソリューションズアーキテクトの中井悦司氏が講演された「 Jeff Dean からのメッセージ〜 Google Research ：2021年のトレンドとその後〜」のレポート記事となります。

今回は、2022年1月に Google の研究チームのトップである Jeff Dean 氏が公開したブログ記事の内容を基にして、 Google の研究チームの直近のトレンドを5つに絞ってご説明します。

なお、本記事内で使用している画像に関しては、 Google Cloud ML サミット「 Jeff Dean からのメッセージ〜 Google Research ：2021年のトレンドとその後〜」を出典元として参照しております。

それでは、早速内容を見ていきましょう。

Jeff Dean 氏からのメッセージとは？

Jeff Dean 氏は Google の研究チームのトップを務めており、2022年1月にとあるブログ記事を公開しました。その内容は「2021年に Google の研究チームがどのような研究をしてきたのか？」という点について、5つのトレンドにまとめて紹介しているものです。なお、このブログは ML （機械学習）や AI （人工知能）に関連した内容が多くなっています。

ここからは、 Jeff Dean 氏がブログで紹介している5つのトレンドについて順番に解説します。

トレンド1：より高性能で汎用的な機械学習モデル

1つ目のトレンドは「より高性能で汎用的な機械学習モデル」です。

Google 社内でディープラーニングが使われるきっかけになったのが、 Jeff Dean 氏の名前で公開された2012年の研究発表でした。これは Google の研究チームが YouTube の動画データに対して、階層の深いニューラルネットワークを提供したところ、動画の中にどのような物体が映っているのか？を認識することに成功した、というものです。

ニューラルネットワークの考え方自体は昔から存在していましたが、「階層を深くするために巨大なモデルを使うことでニューラルネットワークの精度が高まる」という事実が研究成果として発表されました。この発表以来、 Google 社内では様々なプロダクトでディープラーニングが使われるようになりましたが、時間の経過とともにモデルのサイズは継続的に拡大しています。

例えば、2020年に発表された自然言語モデルの GPT-3 は「1,750億パラメーター」でしたが、その翌年に Google が発表した GLaM モデルは「1兆2,000億パラメーター」となっています。このパラメーターはモデルの精度を表す指標であり、性能が大幅に向上していることがわかります。

そして、その結果として GLaM モデルの精度は GPT-3 モデルよりも向上しました。このように、自然言語を扱うモデルでは、モデルを拡大してパラメーターを増やせば増やすほど、精度が高まると言われています。

また、モデルのサイズが大きくなると、今までは不可能だったことを実現できるようになります。例えば、2021年に Google が発表した LaMDA モデルでは、会話文を学習データとすることで「テーマに沿った会話の繋がり」を学習可能になりました。

それだけではなく、モデルの規模を拡大することで、複数種類のデータを混ぜて取り扱うことが可能になります。

下図はテキストから画像を生成するモデルを示しています。この考え方は従来から存在していましたが、モデルのサイズが大きくなることで、生成される画像の精度は向上します。

さらに2021年には、画像とテキストをペアで入力することで、テキストの指示に従って画像を修正してくれるモデルが Google の研究チームによって発表されました。

また、 Jeff Dean 氏はブログの中で「 Pathways 」という考え方を紹介しています。これは「巨大なモデルで複数タスクを同時に実行・学習させることで、より高性能なモデルを作り出すことができる」という考え方です。

このように、「モデルのサイズが大きくなるにつれて、精度が高まり新しいことができるようになる」という点が、 Jeff Dean 氏がブログで紹介している1つ目のトレンドです。

トレンド2：よりエネルギー効率の高い機械学習モデル

2つ目のトレンドは「よりエネルギー効率の高い機械学習モデル」です。

先程、モデルのサイズに関してご説明しましたが、モデルが拡大するにつれて学習時間は長くなり、学習にかかるエネルギーは大きくなります。そのため、エネルギー効率の高い機械学習モデルを考えることが重要になります。

Google の研究チームは「より少ない時間で高いパフォーマンスを発揮できるモデル」を研究しており、その一例としてハードウェアの性能向上が挙げられます。 Google がディープラーニング専用プロセッサとして開発した TPU の最新バージョンは、ひとつ前のバージョンと比較して2.7倍の性能向上に成功しています。

また、モデルをコンパイルするための「コンパイラ」についても機械学習を用いたチューニングを実施しており、これによって計算処理速度を向上させています。コンパイルとは、プログラミング言語で書かれたプログラムを解析し、コンピュータが実行可能な形式のコードに変換することです。

さらに、 Google では NAS （Network Architecture Search）を利用した機械学習モデルの構築についても研究を進めています。従来、 NAS は新しい機械学習モデルを構築するために使われていましたが、最近では「従来と同精度でより効率的に学習できるモデル」を探すために使用されています。

このように、「従来よりもエネルギー効率の高いモデルを継続的に研究している」という点が、 Jeff Dean 氏がブログで紹介している2つ目のトレンドです。

トレンド3：より個人や社会に有益な成果を実現

3つ目のトレンドは「より個人や社会に有益な成果を実現」です。 Jeff Dean 氏のブログの中では、社会貢献に繋がるようなユースケースを複数取り上げていますが、今回はその中から一つをピックアップしてご紹介します。

内容としては「スマートフォンで利用できる ML 技術を向上させた」というものです。2021年に発表された pixel 6 では、 Google が独自開発した専用チップが搭載されており、これまでは不可能であった様々なことを実現できるようになりました。

このように、 Google では「個人や社会にとって有益な成果を出すべく日々研究開発を続けている」という点が、 Jeff Dean 氏がブログで紹介している3つ目のトレンドです。

トレンド4：サイエンス、ヘルスケア、サステナビリティへのより大きな貢献

4つ目のトレンドは「サイエンス、ヘルスケア、サステナビリティへのより大きな貢献」です。今回はその中からヘルスケアに関連したトピックスを一つご紹介します。

Google が提供しているスマートディスプレイ「 Nest Hub 」には、睡眠を支援する機能が搭載されています。例えば、 Nest Hub を寝室に置いておくと、寝ている人の動きや音を検知して、睡眠状態を機械学習モデルで判定してくれます。

また、データのプライバシー性にも配慮しており、収集したデータはネットワークへの外部転送はせずに、デバイスの中だけで機械学習の予測処理を行います。

このように、「個人レベルのヘルスケアにも機械学習が応用されている」という点が Jeff Dean 氏がブログで紹介している4つ目のトレンドです。

トレンド5：より深く、より広く機械学習を理解する

5つ目のトレンドは「より深く、より広く機械学習を理解する」です。

従来、機械学習モデルはブラックボックスだと言われていました。しかし、最近では学習済みのモデルを後から分析して「何を根拠に予測しているのか？」を明確化できるようになってきました。

一定のレベルでは既に実用化されており、例えば Google Cloud （GCP）の Vertex AI に画像認識モデルをデプロイすると、自動的に Explainable AI が働いて「画像のどの部分を見て判定しているのか？」を示してくれます。

Explainable AI とは、機械学習モデルが予測を出した際に、その予測の根拠となるものを分析・理解するためのものです。つまり、機械学習の説明性を高めてユーザーが機械学習の動作をより良く理解し、利用者の信頼を得るためのツールとなっています。

Explainable AI に関心のある方は以下の記事が参考になります。

機械学習における説明性とは？ AI のブラックボックス化を回避する Explainable AI をデモンストレーション付きで徹底解説！

また、表形式の数値データを扱う AutoML Tables も同様に、モデルを学習すると「どのカラムがどれくらい予測に影響を与えているのか？」を自動的に表示します。

ここまでは既に実用化されている内容をご紹介しましたが、 Jeff Dean 氏のブログで紹介されている「 Acquisition of Chess Knowledge in AlphaZero 」という論文の中に、とても興味深い内容が含まれています。これは AlphaZero という強化学習のフレームワークでチェスの AI エージェントを育成する、というものであり、最終的には人間のプロ棋士を超える能力を持つとされています。

そして、 AlphaZero のニューラルネットワークは、次の3つの要素を基にしてチェスをプレイしています。