基礎研究とChatGPT
有名なAIの研究者である、Andrew Ngが彼のニュースレターで興味深いことを述べていたので紹介します。ちなみに彼のニュースレターは示唆に富んでいるのでおすすめです。
彼は米軍が自然言語モデルの発展に影響を与えた事実について言及しています。彼はそれを称賛しているわけではないですが、米軍がお金を注いだことが、機械翻訳と音声認識の分野の発展に大いに貢献したと述べています。
機械翻訳といえば、トランスフォーマーのオリジナルのモデルを思い出す人も多いのではないでしょうか。これは、Google Brain の研究者だった Ashish Vaswani が中心となって発表された論文「Attention Is All You Need」によって世に知られるようになりました。そこで使われている アテンション の技術が、後の大型言語モデルである BERT や GPT などの土台となっています。
また、Google Brain を立ち上げたのも Andrew Ng でした。彼自身もスタンフォード大学で初期のディープラーニングを研究していた時に、DARPA（Defense Advanced Research Projects Agency、国防高等研究計画局）からの財政的支援を受けていたそうです。また、その研究が Google Brain を始めるきっかけにもなったとのこと。
下図は、彼のニュースレターからの引用です。2020年の米国での基礎研究の４１％は米軍の財政的支援によるものです。
一方で、彼自身は戦争には反対であり、むしろそんなものはないほうが良いと考えています。ただし、基礎研究が後に大きな花を咲かせることにかなりの驚きと希望を見出しているようです。例として、宇宙船の開発がLEDライトや太陽光パネルの開発に結びついたことあげています。AIの多くの分野で基礎研究が進んでいることに期待しているとのことです。
自然言語モデルに話を戻すと、Andrew Ngは機械翻訳の研究に資金が流れ込んだことで、いまだに翻訳の精度を測るために使われるBLEUスコア（2002年）が開発されたことを基礎研究が貢献した例に挙げています。
また、文章を解析するために、単語など細かい部分へと分解するトークン化の技術も発展しました。有名なのはBPE（Byte Pair Encoding、2015年）です。この手法では、個々の文字（アルファベットのキャラクター）から始めて、よく出現するトークンを合体させていきます。やがて単語や、より分解されたサブ単語がトークンとして扱われるようになる仕組みです。
トークン化がさらに発展したことについて、彼は次のように続けています。
この技術はどのようにして生まれたのでしょうか? 著者らは、トレーニング データに表現されていない単語を翻訳できるモデルを構築したいと考えました。 彼らは、単語をサブワードに分割することで入力表現を作成し、モデルが「トークン」と「化」を認識した場合に、「トークン化」など、これまでに見たことのない単語の意味を推測できるようにすることを発見しました。
こういった例を通して、彼が言いたいのは米軍の財政的支援のことではなく、基礎研究がより多く行われることで将来的に様々な可能性が広がってくるということです。
私自身も、日本でもっと基礎研究が行われることを願っています。例えば、1979年には、ネオコグニトロンという畳み込みニューラルネットワークの原型が福島邦彦によって発表されています。さらに、1998年には、Yann LeCunn（ヤン・ルカン、メタの主任研究員）が畳み込みニューラルネットワークを訓練する効果的な手法として誤差逆伝播法による教師あり学習を導入しました。そこから画像分類や物体検出が発程したのは言うまでもありません。
福島の功績が近年認識されているのは、ここ数年に彼が多くの賞を受賞していることからも明らかですが、1979年の当時には彼の研究はどのような評価を受けていたのでしょうか。もし当時の研究者たちが目先の成果ばかりを追いかけていたら革新的なアイデアは生まれてこなかったかもしれません。
最近よく聞く、量子コンピューティングとか核融合の話もビジネス・チャンスとして語られることが多いように見えます。もちろんビジネスは大事ですが、量子コンピューティングとか核融合は大きく世の中を変える可能性がある技術なので、どのような応用や発展があるのかは我々にはまず想像できないでしょう。すぐ想像できる利益だけを追い求めると研究も尻窄みになる可能性があります。
Andrew Ng の話から思うのは、現在 ChatGPT などの言語モデルの恩恵を受けている2023年の私たちを去年の今頃想像できたでしょうか、ということです。
言語モデルが発展し、2017年にトランスフォーマーの出現を経験した我々はまったくといっていいほどChatGPTが登場する未来を想像できていませんでした。それは、トランスフォーマーの論文を発表した研究者も同じことです。
しかし、さまざまな分野の基礎研究が発展したおかげで、多くの点と点がつながり、発展した姿となって、我々は多くの恩恵を受けています。基礎研究は重要ですが、それが将来のどの程度の重要さを生み出すのかは誰にも分かりません。それでも基礎研究が行われなければChatGPTだって生まれていないはずです。
最後に、Andrew Ngの言葉を紹介します。
数年後、今日の実験が何をもたらすかは誰にも分かりません。
Who knows, a few years hence, what today’s experiments will yield?
この記事が気に入ったらサポートをしてみませんか？