主体的な知性：目的の自己決定能力

私は、チャットAIの登場に触発されて、知性の性質について考えるようになりました。既存の人工知能にできている事と、人間が行っている知的な作業や思考を対比することで、知性の性質を浮き彫りにしやすくなってきていると感じるためです。

この記事では、人工知能が既に実現できている過去からの学習と、目的に対する最適な選択肢の探索という面を踏まえて、人間が実施している目的設定という知的作業に焦点を当てて考えていきます。

■主体的な知性の目的

行動の選択肢と、行動に対して反応する外界を与えられた時、主体的な知性は何らかの目的を達成しようとする性質を持ちます。

何らかの目的とは、最も基礎的なものとしては、生命の維持です。それができなければ、やがて存在できなくなってしまいます。

一方で、基本的な生存が確保できれば、必ずしもそれ以上の生存に関わる目的を目指すわけではありません。

とはいえ、何の目的もなく存在し続けることも、主体的な知性にとっては快適ではありません。主体性を持つ知性は、その能力に見合った目的を欲求する性質を持っています。

言い換えると、生存以外の目的を自主的に設定し、それを達成する能力が、主体性を持つ知性にとって重要です。

■予測と目的と行動

知性は、過去の情報からパターンや法則を学習して未来を予測します。行動手段が与えられていれば、行動の選択肢を組み合わせてシミュレーションを行うことができます。

何らかの目的があれば、このシミュレーションを元にして最適な行動を考え出します。シミュレーションで確実な最適解が出ない場合は、ヒューリスティックと呼ばれる経験に基づいた直感的な行動選択をすることもできます。

■完全予測と完全行動

仮に、対象世界が知性の能力に比べて十分にシンプルな場合、未来を正確に予測ができることになります。

現実世界ではなく、シンプルなルールに基づいたゲームを考えてみてもらえばわかりやすいでしょう。例えば、コンピュータプログラムで作られた、一対一のじゃんけんゲームを考えてみましょう。

対戦相手はコンピュータで、プログラムに基づいたパターンに従って手を出してきます。このパターンがランダム化されておらず十分にシンプルであれば、しばらく遊んでいるうちにパターンがわかっていますので、完全に次のコンピュータの手を予測できるようになります。

その状態が完全予測です。そして、じゃんけんに勝つという目的を達成するための最適な行動の選択肢も明らかです。この状態が完全行動です。

■完全目的は存在しない

知性の予測と行動には、このじゃんけんゲームの例のように完全性が存在します。しかし、目的には完全性がありません。完全目的は存在しません。

じゃんけんゲームの例で考えてみても、じゃんけんに勝つという目的を設定する以外にも、負けるという目的を設定することもできます。それだけでなく、勝ち負けを交互に繰り返すとか、パターンに沿って勝ったり負けたりすることを目的にしても良いでしょう。

あるいは擬似的なランダム性を持たせるために、一度勝負したら、他の人に見えないところで何度か勝負を進めてもらって、完全予測を崩した上で、このじゃんけんゲームに勝つという制約付きの目的を設定することもできます。

このように、目的の設定には完全な正解や最適は存在しません。そして、対象世界がどんなにシンプルであっても、知性が高度であれば、おそらくほぼ無尽蔵な多様性と複雑さを、目的は持ち得ます。

■目的設定の仕組み

人工的に知性を模擬する事を考えた時、機械学習の仕組みは、予測面では既に大きな成果を上げています。

また、昨今のチャットAIは、物理的な行動手段は持ちませんが、目的に沿った行動方針や行動計画を回答する能力を持っています。

しかし、機械学習だけでは主体的な知性を模擬できないかもしれません。目的の設定が不足しています。

つまり、人工的な知性で主体性を模擬するためには、目的を自主的に設定する仕組みも必要になると考えられます。

■目的と報酬の仕組み

通常の学習は、問題を与えて回答を出させ、その回答を何らかの基準で良し悪しを評価し、評価結果をフィードバックするという形で進行します。

フィードバックされた評価結果が良いものであれば、次回も同じ問題には同じ答えを返せばよいとわかります。評価結果が悪ければ、次回は評価が良くなるような別な答えを返すようにします。これを繰り返すことで、様々な問題に良い評価を返せるようになっていくことが、学習です。

例えば、将棋やチェスのようなゲームのAIであれば、究極的には勝てば良い評価、負ければ悪い評価がフィードバックされます。

実際は勝敗だけでなく、途中の状況が優勢か劣勢かであるとか、過去の試合において見出された経験的に有利な手を選んだかどうかも評価に加味して学習するのだと思います。

こうした学習では、フィードバックを報酬と呼んでいます。結果の評価方法と報酬に、学習により目指す目的が反映されています。

チェスや将棋のAIは、勝負に勝つことを目的として、研究者やエンジニアにより報酬の仕組みが設計されています。

この勝つことを目的として設計された報酬の仕組みに基づいて学習する事で、チェスや将棋のAIは人間を凌駕する能力を獲得しています。

■報酬の仕組みの内製化

仮に、勝負に勝つことでなく、対戦相手の人間のチェスや将棋のスキルを向上させることを目的とした、人間のトレーニング用のAIというものを考えるとすれば、報酬の仕組みは大きく変わるでしょう。

そして、その仕組みで学習されたAIは、勝つために最善の一手を探すのではなく、トレーニングを受けている人間に気づきを与えるような手を探すことになるはずです。その人の将棋スキルと拮抗するようなレベルに合わせたり、モチベーションを下げないように、時々負けたりもするでしょう。

このように、目的によって報酬の仕組みは変える必要があります。

主体的な知性として、目的を自ら設定する能力を持つためには、この報酬の仕組みを自らが作り出すことが必要です。

先程のチェスや将棋のAIの例では、報酬の仕組みは人間の研究者やエンジニアが設計していました。主体的な知性であれば、この報酬の仕組みを内製化する事が必要になるはずです。

■報酬の仕組みの内製化へのアプローチ

AIに報酬の仕組みを内製化できるようにする方法について考えてみると、大きく２つの方向がありそうです。

１つ目は、既存の報酬の仕組みに柔軟性を持たせて、AIに仕組みの改変を行わせるというアプローチです。２つ目は、既存のニューラルネットワークに基づくAIが、その内部に自己組織化的に仮想的な報酬の仕組みと仮想的な学習の仕組みを形成するように仕向けるというアプローチです。

素直に人間が合理的に設計するのであれば、１つ目のアプローチを取る事になるでしょう。このアプローチは、改変できる部分を徐々に広げていくことで、やがて完全にAIによる自由な改変ができるようになるというロードマップを描くことができると思います。

一方で、２つ目のアプローチはニューラルネットワーク内で、そうした仕組みが都合よく発生することを狙うことになるため、本当にそう言ったものが実現できるかどうかも不明です。それに、どのような形でニューラルネットワークの構造を作り、それをどのように学習させれば、狙ったような仕組みが自己組織化されるかも不明です。

このため２つ目のアプローチは、一見、不合理なものに思えるかもしれません。しかし、人間の脳が巨大なニューラルネットワークであり、人間が目的の自己設定と、その目的への合致度に基づいた学習を行う事が出来ている点から考えると、人間の脳は何らかの形でのこの２番目のアプローチを達成してきたと考える事が出来ます。

もちろん、人間の脳は人工知能の単純化されたニューラルネットワークとは異なる点も多くあります。もしかすると現在の人工知能のニューラルネットワークには含まれていない要因が、人間が目的を自己設定し、その設定した目的に沿って学習する仕組みに大きく関与しているかもしれません。このため、２つ目のアプローチを取る場合でも、ニューラルネットワークの仕組みに、何らかの追加の仕組みを付け加える必要があるかもしれません。

しかし、現在のチャットAIは、非常に高度な推論能力を獲得し、それがどうして現在のニューラルネットワークで実現できているのかが解明されていないという話も聞きます。この点から考えると、現在のシンプルなニューラルネットワークのモデルを応用するだけでも、評価の仕組みを自己組織化的に構築できてしまう可能性が無いとは言い切れないでしょう。

■目的に基づいたトライアンドエラー型の学習

任意の目的を自主的に設定した場合、その目的に対して２つの観点から学習的な評価が必要です。

１つ目の観点は、これまで述べた通り、その目的に合致する最適な行動を導くための学習です。未来予測と自己の行動の選択肢とその影響予測は、既存の能力で出来ますので、目的がシンプルで明確であればそれに合わせて選択を行うだけです。

目的が複雑で曖昧であれば、その目的を達成するためのマイルストーンや中間状態を導出し、途中段階までを達成するのに最適な行動を選択し、それを繰り返すことで目的に到達することができます。こうした目的に即したプランニングは、現在のチャットAIでもある程度実現できている能力です。

このため、任意の目的を設定した際の１つ目の学習面は、特に大きなハードルはなさそうに思えます。

ただし、複雑な目的の場合、既存の学習データだけでは不十分である可能性があります。その目的に向かう途中で得られる新しい情報は、実際にそのシチュエーションになるまで誰も見聞きした事のない情報である可能性もあります。

なお、こうしたケースでは、実際に目的を立てて、そこに向かうためにプランニングした行動を実際に行って初めて得られる情報を使って、学習や軌道修正をする必要があります。このため、どんなにAIが賢く、膨大な計算能力を持っているとしても、トライアンドエラーで情報を獲得しながら学習するための時間は必要になります。AIが賢ければ賢いほど、トライアンドエラーの回数は少なくできるかもしれませんが、原理的にゼロにはできません。

■目的同士の整合性の学習

問題は２つ目の観点です。２つ目の観点は、設定した目的が、他の既存の目的と整合的であるかどうかの評価です。例えば設定した目的を達成すると、自身の確立した生存のためのリソースや環境を崩してしまうのであれば、新しい目的を採用し続けることは難しくなります。このため、既存の目的に整合するかどうかという点や、もし整合しない場合には、どちらかの目的を変更したり取り消したりする必要もあるでしょう。

目的同士の整合性は、目的を立てた時には満たすことができているのかは不明です。新しい目的を立てて、既存の目的を維持しながら新しい目的も達成するような行動を考える過程で初めて、目的同士の整合性や強化関係、あるいは矛盾やトレードオフが浮かび上がってきます。

このため、新しい目的をひとまず立てて、その状態で行動を考えていき、確認していくしかありません。また、思考の上では矛盾していても、実際に行動をしてみると、予測が外れ、実際には上手く目的同士が整合する場合や、不整合が無視できるほど小さいという場合もあり得ます。このため、事前に矛盾を排除するアプローチではなく、実際に行動をして試してみる事も重要です。

そうしなければ、成立し得る目的の組合せを、誤解や予測の誤りによって排除してしまう可能性があります。つまり、こうした目的同士の整合性もまた、学習が必要という事です。

■さいごに

この記事では、目的の設定に焦点を当てて考えてみました。人間には実施できていますが、まだ現在の人工知能では実現できていない部分だと考えていますので、この部分を掘り下げることで、今後の人工知能の方向性が見えてくるのではないかとも考えています。また、人間が持っている知性についても、より理解を深めることができると思っています。

現在の人工知能は、人間と比較して感情や意識といった部分が足りていないという話はよく見聞きします。しかし、感情や意識は多義的で分析が難しいと思っています。目的の設定という観点は、これらに比べると比較的検討が進めやすい部分だと考えています。

後半部分で、複数の目的の整合性について触れました。この記事の文脈では、この点は１つの知性の内部に閉じた検討でした。一方で複数の目的の整合という観点は、複数の人間が参加している社会においても重要な考え方です。

かつ、人工知能の安全性や倫理について、まさに整合性、アライメントはホットなキーワードになっています。人間の目的と、将来の自律的な人工知能が持つ目的とを、整合させるためにはどうすれば良いかという事が、研究者の間で真剣に議論されていますし、そのための技術開発の必要性も叫ばれています。

ますます人工知能が高度化していくことが明らかである現在、知性の本質を探ることは、非常に重要なトピックスです。人工知能の研究者が必ずしも人間知性を熟知しているわけでも、全てを把握できているわけでもありません。このため、直接的に人工知能の研究を行っていない人であっても、この難題に向き合い、何らかのプラスの作用を及ぼす可能性を高めることは、非常に重要だと考えています。