【速報】今年のノーベル物理学賞はまさかのAI分野に！

4,280 文字

今年のノーベル賞、まさかのニューラルネットワークに贈られることになりました！ ほんまにびっくりして、偽ニュースかパロディちゃうか、何回も確認しちゃいましたわ。今年のノーベル物理学賞は、ジョン・J・ホップフィールドさんとジェフリー・E・ヒントンさんの2人の科学者に贈られることになりましたんや。ジェフリー・ヒントンさんは、ディープラーニングとニューラルネットワークの世界では超有名な人ですな。1980年代、誰もニューラルネットワークを信じてへんかった時代、ほんまに数少ない信者の1人がヒントンさんやったんです。でも、なんでニューラルネットワークと物理学が関係あんねん？って疑問に思って、いろいろ調べてみたんよ。そしたら、なんでこの2人がノーベル物理学賞を受賞したんか、めっちゃ興味深いことが分かってきたんですわ。というのも、私、別に天才ちゃうから、これまでの全部を理解してるわけやないけど、ニューラルネットワークって言うと、コンピュータサイエンスがメインやって思てたんよね。でも、今回のことで、その認識がちょっと変わったみたい。で、今回学んだことを、この動画でみんなにシェアしたいと思てますねん。まず、ノーベル賞委員会のプレスリリースを見て、なんで物理学賞なんかを理解しましょか。それから、2人がどんな貢献をして、ノーベル賞につながったんかを詳しく見ていきまひょ。簡単に言うと、2024年のノーベル物理学賞は、人工ニューラルネットワークによる機械学習を可能にした基礎的な発見と発明に対して、ジョン・J・ホップフィールドさんとジェフリー・E・ヒントンさんに贈られました。つまり、人工ニューラルネットワークを作って、物理学の基本的な概念を使って訓練したことが評価されたっちゅうことなんですな。今年のノーベル物理学賞受賞者2人は、物理学のツールを使って、今日の強力な機械学習の基礎となる方法を開発したんです。ジョン・ホップフィールドさんは、画像や他の種類のパターンやデータを保存して再構築できる連想メモリを作りました。これはホップフィールドネットワークと呼ばれてます。これは、最初期の人工ニューラルネットワークの1つですな。ネットワークのノード（節点）がお互いに影響し合うんやけど、これを人間の神経細胞のネットワークみたいに想像したらええねん。これらのノードは、シナプスに例えられる接続を介してお互いに影響し合い、接続は強めたり弱めたりすることができる、つまり重みづけができるっちゅうことですねん。ネットワークは、例えば、同時に高い値を持つノード間の接続を強化することで訓練されます。今年の受賞者たちは、1980年代以降、人工ニューラルネットワークで重要な研究を行ってきました。ホップフィールドさんは、ホップフィールドネットワークっちゅうもんを作ったんやけど、これはニューラルネットワーク、つまり情報を保存できるネットワーク、いわばメモリネットワークみたいなもんやねん。なんでニューラルネットワークって呼ばれるかっちゅうと、人間の神経細胞を模倣したかったからなんやけど、技術的にはグラフネットワークみたいなネットワークですわ。そこにジェフリー・ヒントンさんが登場して、このネットワークをもとにボルツマンマシンっちゅうもんを作ったんです。ヒントンさんは、ホップフィールドネットワークを基礎にして、別の方法を使う新しいネットワーク、ボルツマンマシンを開発しました。これは、ヒントンさんたちが大々的に発表した概念です。ヒントンさんは、統計物理学、つまり多くの類似した要素からなるシステムの科学のツールを使いました。このマシンは、マシンが実行されたときに発生する可能性の高い例を与えることで訓練されます。これは、例えば、言語モデルを作るには、大量の言語データを入力する必要があるっちゅうことと同じですな。ニューラルネットワークが機能するためには、マシンが実行されたときに発生する可能性の高い例を入力して訓練する必要があるっちゅうことですわ。ボルツマンマシンは、画像を分類したり、訓練されたパターンタイプの新しい例を作成したりするために使用できます。つまり、新しい画像や新しい例を作成できるっちゅうことですな。ヒントンさんは、この研究をさらに発展させ、現在の機械学習の爆発的な発展のきっかけを作りました。ここでは、人工知能とは呼ばずに、機械学習と呼んでますな。ちょっと論文を詳しく見てみましょか。最初の論文は、1985年に認知科学で発表された「ボルツマンマシンの学習アルゴリズム」やと思います。これは、ジェフリー・ヒントンさんとデビッド・アックリーさんの共著ですな。「単純な処理要素からなる大規模並列ネットワークの計算能力は、要素間のハードウェア接続によって提供される通信帯域幅にある」と。これは今でも当てはまりますな。「これらの接続により、システムの知識のかなりの部分を、非常に短い時間で問題のインスタンスに適用できる可能性がある」。ここでもニューラルネットワークって呼んでるか微妙やな…。以前のヒントンさんの研究では、「ニューロンのような処理要素」って呼んでますね。ニューラルネットワークへの言及はいくつかあるけど、ニューラルネットワークって呼んでるかっちゅうと、そうでもないみたいやな。ジョン・ホップフィールドさんの「ニューラルネットワークと物理システムにおける創発的な集団計算能力」への言及はありますけど、この論文自体は、ボルツマンマシンって呼んでるみたいですね。「大規模並列ネットワークが適していると思われる計算の種類の1つは、大規模な制約充足探索である。しかし、接続を効率的に使用するには、2つの条件を満たす必要がある。第一に、並列ネットワークに適した探索技術を見つけなければならない。第二に、事前に存在するハードウェア接続を、探索対象のドメインの制約を効率的にエンコードするために使用できるような、内部表現を選択する方法がなければならない」。つまり、重みづけをして、その重みを最適化する必要があるっちゅうことですな。「統計力学に基づく一般的な並列探索法について説明し、それが接続強度を変更するための一般的な規則につながることを示す。これは、タスクドメインに関する知識を効率的な方法で組み込むためである」。これは、今でもディープラーニングで行われてることと同じですな。最初にランダムな重みで初期化して、訓練のたびに、エポックごとに重みを更新して、最終的にコスト関数を最適化することで、最も効率的なニューラルネットワークを作るっちゅうわけですわ。「効率的な方法でタスクドメインに関する知識を組み込むための接続強度を変更するための一般的な規則につながることを示す。いくつかの簡単な例を説明する。これらの例では、学習アルゴリズムが、事前に存在する接続構造を使用する最も効率的な方法であることが証明された内部表現を作成する」。つまり、ニューラルネットワークのノードは存在してて、最適化するのは重みやっちゅうことやな。層があって、重みを最適化して、ニューラルネットワークを作るっちゅうわけですわ。これはなかなかすごいな。物理学者がどう見るかは分からんけどな。物理学の分野で働いてて、ノーベル物理学賞がコンピュータ科学者に贈られるってなったら、かなり奇妙に感じるやろな。でも、こんな風に物理学的な要素があったとは知らんかったわ。ニューラルネットワークとホップフィールドネットワークのつながりについて、詳しく見てみましょか。基本的に、ホップフィールドネットワークはリカレントニューラルネットワークの一種です。RNN、リカレントニューラルネットワークって言うと、ホップフィールドネットワークがその先駆け、おそらく最も古い先駆けやって言えるんやな。RNNは最近また注目され始めてますね。Mambaや状態空間モデルがありますけど、RNNは昔は王様やったんですわ。Transformerが登場して、全部持っていかれちゃいましたけど、RNNは昔はほんまに大物やったんです。ジョン・ホップフィールドさんが作ったホップフィールドネットワークは、連想メモリシステムとして機能するように設計されてます。つまり、部分的な入力や破損した入力でも、保存された問題を思い出すことができるっちゅうことですな。これは、まさにニューラルネットワークでやってること、大規模言語モデルでやってることと同じですわ。例えば、文字を認識するようにニューラルネットワークを訓練したとします。歪んだ「J」を入力しても、「J」だと認識して、正しい「J」を出力してくれるっちゅうわけですな。これがホップフィールドネットワークの仕組みです。ホップフィールドネットワークの特徴としては、ノードがバイナリ、つまり0か1で、重みが対称で、常に最小化するエネルギー関数、つまりコスト関数を持つようにしてたんやな。これは、現在のニューラルネットワークと同じですわ。そして、連想メモリを持ってたっちゅうことです。現在のニューラルネットワークとの関係で言うと、主なものは、現代のRNN、リカレントニューラルネットワークの基礎になってることと、ホップフィールドネットワークで使われた基本原則や要素を使って、他のアーキテクチャが生み出されるようになったっちゅうことですね。2つの異なる分野がこんな風に関連付けられるっちゅうのは、なかなか興味深いですね。イーロン・マスクさんは、物理学のファンで、xAI社やテスラでAIの仕事もしてるから、きっと誇らしいやろな。毎日このチャンネルで議論してるような仕事をしてるコンピュータ科学者2人がノーベル賞を受賞したっちゅうのは、ちょっと不思議な感じがするわ。しかも、コンピュータサイエンスじゃなくて、物理学でってところがな。前にこんな風に感じたのは、心理学者のダニエル・カーネマンさんとエイモス・トベルスキーさんがノーベル経済学賞を受賞したときやったな。2人は経済学者じゃなくて、人間の思考のシステム1とシステム2を提唱した心理学の研究者やったんやけど、ノーベル経済学賞を受賞して、行動経済学っちゅう全く新しい分野が生まれたんですわ。今回のノーベル賞で何が起こるかは分からんけど、少なくとも、この受賞にはたくさんの注目と批判が集まるやろな。みんなはどう思う？コメント欄で教えてな。ほな、また別の動画で会いましょう！