落合陽一さんのシンギュラリティ論(pivot)/動画で紹介していた論文をChatGPTで日本語要約
以前こちらの動画を視聴した際に、動画の中で紹介していた論文をChatGPTで日本語要約してみました。
2022.10.6に発表した「Jacob Cannell氏」の論文です。
AI Timelines via Cumulative Optimization Power: Less Long, More Short
"AI Timelines via Cumulative Optimization Power：Less Long, More Short "は、Jacob Cannellによる論文で、過去を最もよく説明できる単純なモデルを使って、将来のAIの進歩を予測することを論じています。著者は、動物の知能と比較した場合、人間の知能は大きな脳の容量と長い訓練時間の組み合わせによって部分的に説明できることを示唆しています。この考え方は、AI開発のタイムラインの予測にも応用でき、過去のデータに基づくモデルを使うことで将来のAIの進歩をより正確に予測できることを強調しています。
この記事では、AIの将来を予測する最善の方法は、過去の発展を効果的に説明できる単純なモデル（ベイズ／ソロモンオフの原理）を用いることであると提案しています。ネットトレーニングの計算量に基づくモデルを適用することで、著者は生物学的ニューラルネットワークと人工ニューラルネットワークの性能を比較することができる。このモデルを外挿することで、2032年までに人工知能（AGI）が実現する可能性が75％あると予測しています。
-AGIとは-
汎用人工知能（はんようじんこうちのう、英:Artificial general intelligence、略称:AGI）とは、人間が実現可能なあらゆる知的作業を理解・学習・実行することができる知的エージェントである
1.Cumulative Optimization Power / 累積最適化パワー
単純な一般化スケーリングモデルは、性能（perf）は、サイクルあたりの計算操作（C）とトレーニングサイクル（T）の積である累積最適化パワー（P）にほぼ等しいとすることで、学習済み人工ニューラルネットワーク（ANN）と生物学的ニューラルネットワーク（BNN）の能力を予測します。柔軟で効率的なニューラルネットワークアーキテクチャと学習アルゴリズムでは、最良のシステムの相対的な知能と能力は、正味の訓練計算量または累積最適化パワーPに正比例します。これは、データサイズビット（D）にほぼ比例するモデル容量ビット（N）を効率的に割り当てることを想定しています。
2.Intelligence Rankings
脳や脳モジュールのようなBNN（Biological Neural Networks）を知能でランク付けすることを想像してみましょう。このスコアリングは近接した比較では不明確かもしれないが、各BNNの相対知能スコアを導き出しています。C. ElegansがHomo Sapiensより知能が低いなど、いくつかのランキングは明白です。
さて、成功した人工ニューラルネットワーク（ANN）のランキングを考えてみましょう。ANNはその特殊性からより困難なものとなっています。理論的には、生涯内累積最適化パワー（P）、すなわちネットトレーニングコンピュートが、知能ランキングの分散のかなりの部分を説明する単純なモデルであることが示唆されています。Pは技術進歩（ムーアの法則のようなもの）により予測可能な軌跡をたどるため、AGIの到来を予測することができます。Pは能力に対する制約であり、脳に対してはエネルギー効率に対する進化的圧力により、ANNに対しては経済効率に対する市場圧力により支配的であります。この理論には潜在的な欠点/異議があり、さらに対処することが必要です。
[perf ~= P = CT]
3.Initial Exemplars
8つの生物学的ニューラルネットワーク（BNN）と9つの人工ニューラルネットワーク（ANN）の合計17の例を選んで分析しました。8つのBNNは、6つの脳全体と2つのサブシステムを含んでおり、知性によるランキングはかなり明白であり議論の余地はないです。BNNの学習量(P)を推定することは、ほとんど簡単なのです。
9つのANNは重複しない領域の専門家であるため直接的な性能比較は困難である。しかし、3つのビジョンシステムの説明からその順位は明らかです。
BNNとANNの比較は、最適化、目的、トレーニングデータ、アーキテクチャの違いから困難である。しかし、特定のBNNモジュール（視覚、言語など）は、ANNの対応するものと比較することができます。例えば、GPT-3やChinchillaのような最新の大規模言語モデル（LLM）は、人間の言語能力や言語皮質と比較することができます。LLMは、人間の言語の構文と意味論の多くを習得していますが、長期記憶、一貫性、一般的な推論といった重要な能力がまだ欠けています。
研究者たちは、神経画像技術を用いてLLMと言語野を評価し、両者が同様の特徴表現を同様の計算深度の段階で学習することを示し、同様の結論に達しました。
DQN AtariとVPTのエージェントを動物の脳と比較すると、機能が重複するためより複雑になります。DQNはミツバチやトカゲ、VPTはネコあたりに位置づけられるかもしれないと示唆されています。
計算時間*計算できる量*入れるデータの数
4.The Table /
表は{元の資料で確認してください}、様々な生物学的ニューラルネットワーク（BNN）と人工ニューラルネットワーク（ANN）を、ネットトレーニングの計算量または寿命内累積最適化能力を表すPでソートしたリストである。また、この表には、N（ビット）、D（ビット）などの他のパラメータとその能力も含まれています。
もっと簡単に言うと、この表は、さまざまな脳や人工知能システムを計算能力に基づいてランク付けし、その能力に関する情報を提供しています。例えば、人間の脳はリストの最上位にあり一般的な知能を表すP値が最も高い。
一般的な傾向として、より大きなライフタイム・コンピュートによって、より高性能で多用途なシステムが可能になることが示されています。しかし、汎用性と性能はそれぞれ独立して高くつくものであり、効率的な汎用システムには専門家のサブネットワークの組み合わせが必要な場合が多い。
生物学的ニューラルネットワーク（BNN）と人工ニューラルネットワーク（ANN）は、どちらもベイズ学習を効果的に近似しています。ネットトレーニングの計算量は、効果的なタスクソリューションを推論するために使用される生涯内の最適化パワーの合計を測定します。脳が大きいと一般的に寿命が長く、脳モデルの総容量は、主要なANNとBNNの両方で寿命データビットを追跡します。
最大の基礎モデルは、ネットトレーニングの計算量において急速に人間の脳に近づいていることです。このことは、AGI（人工知能）が間近に迫っていることを示唆していますが、単に既存のモデルをスケールアップすればよいというものではありません。スケーリングにとどまらず、いくつかの新しいアルゴリズムの革新が必要かもしれません。しかし、新しいアイデアをテストするための計算機訓練の費用が高いため、アルゴリズムの革新が深層学習の進歩の重要な制約となることはほとんどありません。アイデアは安いが、ハードウェアは安くありません。
5.Timeline To AGI
表は{元の資料で確認してください}、「機械学習の3つの時代における計算機のトレンド」から2つの主要トレンドを推定し、ムーアの法則のサブトレンド（後述）の終了が近づいていることを考慮した現在の最良推定値を加え、さらに4つの脳等価マイルストーン（C. Elegans、Honey Bee、Raven、Homo Sapiens）を追加しました。
2010年頃のグラフの変曲は、CUDA（2007年リリース）を用いたNvidia GPU上での汎用プログラミングによって実現したディープラーニングの台頭です。赤いデータポイントとトレンドラインは、ハイパースカラと大規模化時代の到来を表しています。
ハードウェア制約モデルの事後予測／予測はこうです。
1990年代半ばのC.エレガンスと同程度の知能・能力を持つAI。
2012年から2016年にかけて、ミツバチとほぼ同じ知能/能力を持つAIが登場。
2016年から2024年にかけて、AIがレイブンズとほぼ同じ知能/能力を持つようになる。
2026年から2032年にかけて、ホモ・サピエンスとほぼ同じ知能・能力を持つAIが登場する。
サブタスクの量、多さ、複雑さに応じて、脳のサブモジュールと同等の能力を持つ高度に専門化された狭いAIシステムは、当然ながら何年か前に登場します（例：ミツバチレベルの視覚は2012+3年頃、人間レベルの視覚または言語能力は2024+3年頃）。
主要なサブタスク（視覚、言語など）の予測は妥当であり、どちらかといえば、先に述べたように予定より早く到着しているように思われます。もっと議論の余地があるのは、2022年までに、カラスと同程度の知能を持つAIシステムをすでに目にし、少なくともネコと同程度の知能を持つシステムを手に入れるべきだろう、という予測です。VPTは、モデル容量が1〜2OOM少なく、アーキテクチャもシンプルで原始的だが多くの点で猫とカラスの中間のような知性を備えています。
VPTは、様々な道具と様々な行動を用いて、ダイヤモンドのオブジェを作ることができるほど、マインクラフトをプレイすることを学びます。これは、人間の流れから行動クローンを作成し、強化学習を行うことで、8年間マインクラフトに没頭することに相当する訓練を行ったものです。同様に、猫も、自己監視型の感覚学習を何年も続けた後、強化学習によってさまざまな芸をするように訓練することができます。つまり、このシステムの訓練方法は、脳の自己管理型学習を行動クローンで代用したものであり、同程度のものであると言えます。
猫の脳はともかく、マインクラフトに没頭しているカラスの脳が、サブタスク強化学習などの重要な外部指導なしにダイヤモンドの道具を作ることができるとは考えにくいようです。一方、VPTアーキテクチャと行動クローニング＋強化学習の戦略により、猫シムゲームで猫レベルの行動を学習することは、おそらくOOMだけ計算量を増やして、もっともらしいと思われます。同様に、カラスの脳も若干の調整と外部からの指導があれば、マインクラフトでうまくやれる可能性は十分にあります。行動クローニングは、人間の行動データに依存するため、ある意味「インチキ」ですが、それこそが、初期のAGIが人間の仕事を自動化するために採用できる利点の一種です。VPTのアーキテクチャと学習戦略は、おそらくAGIには不十分でしょう。しかし、将来のシステムは、脳が使うような、より効果的で一般的な自己監視型、内在型、模倣型の学習メカニズム（いずれも活発な研究分野）を活用することになるでしょう。現在の単純で貧弱なアーキテクチャとアルゴリズムがすでにうまくいっているという事実は、将来さらに改善される可能性があるという証拠に過ぎません。
6.Conclusion / 結論
著者は、知能は累積最適化力（P）に制約され、それはムーアの法則のようなトレンドによって予測可能であるとしています。これらのトレンドの未来への外挿はおよそ10年後、つまり2032年までに75％の確率でAGI（Artificial General Intelligence）が到来すると予測しています。ディープラーニング（DL）システムは、すでに同等の脳モジュールや同程度のP値を持つ動物の脳と競争力があると思われ、DLのアーキテクチャやアルゴリズムは改善する一方だと予想されています。
また、著者は、AI/AGIシステムは人間と同様に最初は共通のアーキテクチャを共有するが、やがて訓練によって多様化しさまざまな分野や経済のニッチに特化し、おそらく人間よりもさらに大きくなることを示唆しています。
論文は2022年10月に発表したものですが、落合陽一さんは、人間より賢いコンピューターが2025年頃にはたくさん出て来るだろうと話していました。
世の中にはどうでもいい情報や、自身になんの役にも立たない情報も多いです。
何をする何をしたいなどと明確なことはありませんが、この先を見据えて、良質な情報だけはハックしていきたいと考えています( ^ω^ )
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？