気になったニュース#25 【Google Pathways】 2022.4.27
Googleが開発している機械学習モデル「Pathways」について紹介された記事です。
Pathwaysは、ひとつの機械学習モデルでありながら最大で数百万種類のタスクに対応できるという特徴を持っているそうです。
従来の機械学習モデルは一つのタスクに対して特化されているため、それ以外のタスクを学習させることはできません。例えば囲碁のルールを学習したモデルに対して音声認識の学習をさせることができないように、異なるタスクには異なるモデルを用いる必要があります。
ですがPathwaysは、端的にいうとそれができてしまうということです。
米国時間の4月4日に、Googleは自然言語処理に関するPathwaysのモデルを「Pathways Language Model（PaLM）」として発表しました。
PaLMというひとつのモデルにおいて、質問応答や文書生成、多段階の論理的な思考、翻訳、ソースコード生成、ソースコード修正、さらにはジョークの解説という複数のタスクを処理できるそうです。
PaLMにおいては「自然言語処理」というある程度の絞られた分野におけるモデルとなっていますが、今後はもっと幅広い分野を横断して学習したモデルが発表されるものと思われます。
Googleの公式ブログで紹介された記事を読むと、Pathwaysの凄さは単に「汎用的」であるだけではないことが分かります。
ひとつは学習効率が良いということ。新しい物事を学ぶたびに、すでに学んだ知識をすべて忘れてゼロから学びなおすということがないため、学習効率がよいのです。
次に、既存の学習で得た「知恵」を、別の学習に転用できるということです。
人間であれば数学的知識を学び、それをプログラミングの学習に応用し、プログラミングで学んだ知識を文章を書く際の論理的思考として用いるということができます。
Pathwaysもそのように、分野を横断して学んだことを応用することができるのだそうです。
また三つ目に、視覚、聴覚、言語を同時に理解することが可能だということです。
既存のモデルであっても、数ある動物の写真からヒョウの写真を抽出することは可能でした。
また「ヒョウ」という音声を解析し、それに対応する文字列を生成することができますし、「ヒョウが走る」という日本語を別の言語に置き換えることが可能です。
しかし、それらを統合した「概念」を持つことは既存のモデルにはできませんし、また単純に情報として統合した処理をすることもできませんでした。
最後に、エネルギー効率に優れていて高速だということです。
既存のモデルは専門分野に過度に特化しており、ネットワーク全体を高密度に処理させています。
Pathwaysでは、ネットワーク上のどの部分がタスクに適しているかを判断し必要に応じて処理するため、既存のモデルの10分の1のエネルギー消費で抑えることができるそうです。
AIという言葉が十数年のサイクルでたびたびバズワードとなりますが、数年前に比べれていまはやや下火の感があります。
それでもここ5年でのAIの成長は目覚ましいものでした。
画像認識や音声認識が発達してAI（というより機械学習）が目や耳を手に入れたことで、機械学習・深層学習界隈は一気に進化を遂げました。
チェス、将棋、囲碁と、プログラムが人間を破ってきたことも衝撃的でしたし、今ではスマホが音声を理解し言葉を翻訳したり、自動車が周りの景色を理解し運転の補助をするのも当たり前となりました。
反面、文章や写真、音声などをいくら解析したとしても、AIがその「概念」を理解するといったことは未だできていません。
もちろんPathwaysがそういった「概念」を理解していると言い切ってしまえばそれは誤りになるのでしょうが、少なくとも既存のモデルでは成しえなかった、複数種類のデータを統合して処理できる能力があることは事実です。
ひょっとすると、Pathwaysが「概念の理解」という関門を開くカギを提供することになるのでしょうか？