見出し画像

Q*「我々は道具を作ったのだろうか、それとも生き物を作ったのだろうか？」

Zun-Beho

サム更迭の理由をロイターがリークしたニュースについてこちらのNoteでも詳しく書きました↓が、その中で語られたQ*について深掘りしていきます。

Q*と呼ばれるAGIの兆し

解雇される前日、サムはこの様な表現で公衆の面前でミラ・ムラティ氏の言う、Q*について口を滑らしました。

ロイター通信の報道によると、 Q* (Q スターと発音) と呼ばれる OpenAI の機密突破は、サム アルトマンの追放につながりました。 サム氏の解任に先立って、研究者らは取締役会に書簡を送り、人類に脅威をもたらす可能性のある新たなAIの発見について警告した。 サムが解雇される前日、彼はこんな不気味なスピーチをした。 「我々は道具を作ったのだろうか、それとも生き物を作ったのだろうか？」 このタイムラインは、Q *の最近の発見と一致しています。

MDB

別の投稿でもサム・アルトマンがQ*と呼ばれている物にについて語る動画が添付されていました。

サム・アルトマン氏は、Q* (Q-learning) と呼ばれる大規模な進歩により、OpenAI から解雇された可能性があります。
Q* は AGI の前身です。
ほとんどの人 (AI 専門家を含む) は、AGI がどれほど強力であるかわかりません。ここでは、サム アルトマンが、AGI に関してほとんどの AI 専門家が誤解していることについて説明しています。


Engr. Ishola

Q*に対する学術論文

また、MDBさんはQ*の論文を引用しています。

この投稿については驚きの声が上がっています。

引用された、論文の要約を書きますと下記の様になります。

このPDFファイルは、「A* Search without Expansions: Learning Heuristic Functions with Deep Q-Networks」というタイトルの学術論文です。著者はForest Agostinelli, Alexander Shmakov, Stephen McAleer, Roy Fox, Pierre Baldiで、彼らはそれぞれカリフォルニア大学アーバイン校とサウスカロライナ大学のコンピュータサイエンス部門に所属しています。

Deep Q-Networks (DQNs)

論文の内容は、大規模な行動空間を持つ問題をA検索アルゴリズムで効率的に解決する方法に関するものです。特に、A検索の計算量とメモリ要件が行動空間のサイズに比例して増加する問題を解決するために、Q検索アルゴリズムが紹介されています。Q検索は、Deep Q-Networks (DQNs) (注01)を使用して検索を導くことで、ノードの子供たち(注02)の遷移コストとヒューリスティック値の合計を、それらの子供たちを明示的に生成することなく、単一のDQNを通じて計算できることを利用します。これにより、計算時間が大幅に削減され、イテレーションごとに1つのノードのみが生成されます。

※注01：Deep Q-Networks（DQN）は、深層学習と強化学習を組み合わせた技術で、特に複雑な環境での意思決定問題を解決するために使われます。Google DeepMindによって開発されたこの技術は、特にビデオゲームのプレイや他の複雑なタスクにおいて人間並み、あるいはそれ以上の性能を示しています。２ちゃん用語の「DQN」とは全く異なる、非常に革新的で高度な技術を指しているのです。

※注02：「ノードの子供たち」とは、ある特定のノードから直接導かれる次のステップや状態のことを指します。これらの「子供たち」は、現在のノードから可能な動作や選択によって生じる新しいノードです。要するに、「ノードの子供たちの遷移」とは、ある状態（ノード）から次の可能な状態（ノードの子供たち）への移動や変化の過程を指す言葉です。検索アルゴリズムでは、この遷移を通じて、最終的な目標状態や解決策に到達する経路を探索します。

Q*検索が最短経路を保証

論文では、Q検索をルービックキューブや他のパズル問題に適用し、A検索と比較して計算時間と生成されるノードの数を大幅に削減することを示しています。また、深層ニューラルネットワークから許容可能なヒューリスティック関数を得ることは、現在進行中の研究分野であるとし、Q*検索が最短経路を保証して見つけることができることを証明しています。

この論文は、A*検索の計算コストとメモリ使用の削減に関する重要な進歩を示しており、大規模な行動空間を持つ多くの重要な問題に対する解決策を提供する可能性があります。

Q*には自然言語が通じない

前記のNoteでミラ・ムラティ氏がロイターについて説明したQ*に数学の問題を解かせる場合なども自然言語で質問することは出来ません。

Q*検索アルゴリズムを使用して特定の問題を解かせる場合、具体的な指示は主にそのアルゴリズムが解くべき問題の性質と形式に依存します。例えば、数学の問題を解かせる場合、以下のステップに従って指示を与えることになるでしょう。

  1. 問題の定式化: まず、解かせたい数学の問題をアルゴリズムが理解できる形式に定式化する必要があります。これには、問題を数学的な表現やアルゴリズムが処理可能な形式に変換する作業が含まれます。

  2. アルゴリズムへの入力: 定式化した問題をアルゴリズムに入力します。Q*検索の場合、問題は特定の状態やパラメータとして表現されることが一般的です。

  3. 処理パラメータの設定: アルゴリズムが問題を効率的に解くために、ヒューリスティック関数や他の処理パラメータを設定します。これには、問題の性質に応じた適切な設定が必要です。

  4. アルゴリズムの実行: 設定が完了したら、アルゴリズムを実行し、問題の解を探索します。Q*検索では、Deep Q-Networksがこのプロセスを支援します。

  5. 結果の解析: アルゴリズムが提供する解を受け取り、それを解析して、問題の答えや解決策を得ます。

Q検索アルゴリズムは、一般的には状態遷移問題や最適化問題に適用されるため、数学の問題を解く場合も、それを適切な形式に変換してアルゴリズムに入力することが鍵となります。また、Q検索のような特化したアルゴリズムを使う際は、そのアルゴリズムの動作原理と問題の性質に深い理解が必要になります。

人間が自然言語でQ*を利用する場合アライメントが必要になる

将来的には、一般の人が自然言語で質問し、それをQ*検索アルゴリズムや他の高度なアルゴリズムに適した形に変換するようなシステムの実現が可能になるかもしれません。このようなシステムでは、以下のようなプロセスが考えられます。

  1. 自然言語の入力: ユーザーが自然言語で問題を提出します。

  2. 質問の解析と変換: AIが質問を解析し、それをアルゴリズムが理解できる形式に変換します。このプロセスには、自然言語処理（NLP）技術が使われる可能性があります。

  3. アルゴリズムへの適用: 変換された問題をQ*検索アルゴリズムや他の適切なアルゴリズムに適用します。

  4. 結果の出力と解析: アルゴリズムが問題を解決し、その結果をユーザーに理解しやすい形で出力します。

現在のところ、このようなシステムは完全に実現されていないかもしれませんが、AIと自然言語処理技術の進歩により、将来的には可能になると考えられます。このタイプのシステムは、非専門家でも高度な問題解決ツールを簡単に利用できるようになるため、多くの分野での応用が期待されます。

イーロン・マスクのリーク

11月25日11時半ごろ、イーロン・マスクはQ*をリークしています。

GPT-4に解析してもらったら、下記の返答が得られました。

GPT-4返答：

添付された画像が数学的な論文を示しており、これが「Q*」プロジェクトとは直接関連がないように見えることから、マスクのコメントは何らかの比喩的な意味を含んでいるか、または完全にユーモラスなコンテキストで言われている可能性があります。マスクの過去の投稿パターンを考えると、彼のツイートが常に真面目な発言ではないことをフォロワーは理解しており、彼の言葉を文字通りに受け取るよりも、ジョークや洒落として解釈することが一般的です。

アップロードされた画像は、数学の研究論文のように見えます。タイトルは「ON HODGE-RIEMANN COHOMOLOGY CLASSES」とあり、ジュリアス・ロス（Julius Ross）とマテイ・トマ（Matei Toma）によって書かれたものとされています。抽象的な部分では、ネフベクトルバンドルのシュールクラスに関連するホッジ・リーマン双線型関係の限界が議論されていることが述べられています。

GPT-4

この記事が気に入ったらサポートをしてみませんか？