Open-endednessがAIにとって大切な7つの理由
Agent Learning in Open-Endedness (ALOE）というオープンエンド（Open-endednesess）に関するワークショップが
International Conference on Learning Representation（ICLR）という国際会議で開催されました。
その中からケン・スタンリー氏（OpenAI）による招待講演「Why Open-Endedness Matters to Machine Learning」で提案された「機械学習においてオープンエンド性が重要な7つの理由」をまとめました。
Open-Endedness（オープンエンド）なアルゴリズムとは
コンピュータによって実行されるアルゴリズムの多くは、与えられたタスク（画像に映っている物を認識する、話した言葉を自動的に文字起こしするなど）が設定され、それを解決するための方法を提供するものです。
これに対して、「オープンエンドなアルゴリズム」とは、発散的な探索をアルゴリズムで実装することを目指したものです。それは、明確な目的を持たず、アルゴリズムによって作られるものが複雑さを増していくものです。Open-Endednessとは「終わりのない」という意味ですが、まさに「終わりのない」アルゴリズムといえます。
終わりのないアルゴリズムを究極的に体現しているのは、地球の進化です。46億年に渡ってオープンエンドな「発散的な探索」アルゴリズムを実行し続けていると捉えることができます。オープンエンドなアルゴリズムが究極的に目指しているのは、地球の進化のような多様な生物や自然を生み出す、そんなアルゴリズムといえます。
さて、それでは、なぜ「オープンエンド」という概念が機械学習にとって重要なのでしょうか。その7つの理由をひとつずつみていきましょう。
オープンエンドは自然が生み出した絶妙なclockmaker
人間の知能は、地球のオープンエンドな進化の過程で発見されたものです。そしてその背後には、人間レベルの知性もなくエンジニアがいるわけでもありません。
オープンエンドなプロセスの特徴は、驚きに満ちていることです。コンピュータによる機械学習のように、どこに向かって進んでいるかを予測することもできないし、最適化アルゴリズムのように何を最適化しようとしているのか分かっているわけでもありません。でも、そんなオープンエンドなプロセスから、人間やその知能も含め、多くの発見がなされているのです。
「本当に探しているものは、探さないことでしか見つからない」とスタンリーは言います。地球上の進化を含むオープンエンドなプロセスの特徴なのですが、発見されたものは、最終目的でなかったから発見されたといえます。それはつまり、人間のレベル、あるいはそれ以上の知性は、オープンエンドなプロセスでしか発見できない可能性があることを示唆しています。
では、どうすればいいのか？そうした疑問から開発されたのが、新規性探索アルゴリズム（Novelty Search）や品質多様性アルゴリズム（Quality Diversity）です。新規性探索アルゴリズムは、目的の代わりに、常に新しい行動を探索することで、オープンエンドな探索を実現しています。また、品質多様性アルゴリズムは、目的は持ちつつも、それぞれの競争をそれぞれのニッチに分割し、競争を避けることで、品質が高いかつ多様な解の探索を可能にすることを示した、オープンエンドの概念をベースにして開発されたアルゴリズムです。
これらのアルゴリズムの有用性が示すように、オープンエンドなアルゴリズムのメカニズムを解き明かすことができれば、AIあるいはAGI（Artificial General Intelligence, 汎用人工知能）にもつながるかもしれません。
オープンエンドは最高峰の知性
オープンエンドは知性の究極の形でもあります。人間が作り出した「文明」がそれを物語っています。文明の過程で、火や車輪のようなアイディアから、コンピュータや宇宙ステーションに至るまで、何千年もかけて複雑さを増していきました。これもまた、オープンエンドのプロセスです。私たちが「人間の知性」と呼ぶものの究極の表現ということができます。芸術、音楽、建築などもそうです。テクノロジーだけでなく、人間の創造性に関わる全てのものがオープンエンドなプロセスによって実現されています。
新しいアイディアを永遠に生み出し続け、これまでのアイディアの上に、より素晴らしく複雑なアイディアを無限に作り続ける。定められた目的地に向かうのではなく、どこにも向かわない。地球の進化同じように、人間の創造性はオープンエンドなプロセスと言えます。オープンエンドのメカニズムについて理解するということは、人間の創造性について理解することにもなります。
オープンエンドこそが新しい経験の源
オープンエンドなことは、新しい経験を作り出す源でもあります。文明の進歩を続けるためには、新しいことを学び、新しいものを生み出し、新しい経験をしなければなりません。
地球の進化や人間の文明が進歩をし続けられているのは、地球上のあらゆる生物、一人ひとりが、終わることのない新しい経験を生み出す源になっているからです。アカシアの木が、キリンにとって首を長くする機会を与えたように、人間の世界でも、他者の存在が新しい機会を生み出す源になっています。誰かの行為が、自分にも新しい機会を与えるのです。
オープンエンドをコンピュータで実現するためには、新しい機会を永続的に生み出せる必要があります。
どのようにしたらそれを生み出せるのか。未解決の大きな課題として残っています。
汎化（generalization）につながる
オープンエンドな経験は「カリキュラム学習」のようなものだと考えることもできます。カリキュラム学習とは、人間が学習段階と能力に応じて学ぶ内容を編成し、簡単なことから難しいことを学習するのと同じように、機械学習を行うことを指します。
どんどんと新しい知識を取り入れ、多くのものに触れることで、より一般的な知識を取り入れることができます。オープンエンドなシステムが提供する常に新しいことを学ぶ機会は、汎化にもつながるかもしれないですし、それは、AGIが目指しているものでもあります。
特殊化（specialization）にもつながる
しかし、汎化よりもオープンエンドがもたらす重要な概念が「特殊化」です。人間レベルの知性につながった自然の進化は、汎化を目指したからではなく、特殊化を通じて起こったことでした。
特殊化することが、汎化への踏み台となるのです。それは「行くべき場所に行くためには、全く違う場所に行く必要がある」という教訓とも似ています。目的に向かっているとは思えない、他のことに特化しているように思えるものこそ、実は、行くべき場所への重要なステップになることがあるのです。
POETと呼ばれるアルゴリズムは、特殊化の重要性を示唆しています。POETとは、環境とエージェントの両方を共進化させていくアルゴリズムです。環境とエージェントがペアをつくり、与えられた環境に特化したエージェントが進化していきます。このようにして、ある環境に「特殊化」した能力を獲得したエージェントを他の環境に移動させ、新たに進化させます。すると、ある環境に特化したエージェントが獲得した能力が、実は別の環境で更に力を発揮するための必要な踏み台となっていたということが分かりました。特殊化は、一般化のための重要なステップであるということが、こうしたアルゴリズムからも示されています。
反対に、汎化したエージェントからは特殊化したエージェントが進化してくることはありません。進化してきたとしても、特殊化したエージェントがみせるような、エレガントな動きやダイナミックスさを持ち合わせておらず、ゆっくりとしたぎこちない動きを見せます。
どのように発見されたかはその表現に影響を与える
自然の生物は、対称性やモジュール性など、幾何学的なエレガントなパターンを持っています。コンピュータを使った設計においても、目的を持たないオープンエンドな方法でみつかったパターンはシンプルでエレガントになる場合が多いです。一方で、そのパターンを作り出すことを目的に設定して機械的に見つけようとすると、多くは複雑で不格好なものになります。
たとえば、picbreederというシステムを使って、人間が集合知的に無目的に遊んでいる中で発見されたパターンをみてみましょう。上の図は、12世代（12回の操作）で進化してきた「目のような」パターンを示しています。
一方で、このパターンを目的に設定し、機械で進化させようとすると、約3万の世代を経ても、なかなか最終的なパターンを作り出すことができません。それは、途中のプロセスで作られるものが、最終的なパターンに似ているかどうかで、次に選ぶ手を決めているからです。一歩一歩、目的とするものに似せていかなければならないからです。
最適化によって再発見することの難しさを物語っています。
オープンエンドとは「人間」に関すること
AGIやAIがたくさんいる世界で、人間が一緒に働いている世界を想像してみましょう。AI、AGI、人間が協力試合、互いの発見を活かし合うオープンエンド文明が加速度的に起こっている世界です。それが、この分野の目指す世界でもありますし、きっと、好むと好まざるとに関わらず、オープンエンドのプロセスに巻き込まれます。ですので、これらのシステムが何をするのか、どのようにコントロールするのか、コントロールしすぎて彼らの創造性を破壊しないようにするにはどうしたらいいのか、非常に微妙なバランスを保つ必要があります。そうした未来の世界を理解し、そして安全に保つためには、オープンエンドを今こそ理解する必要があるのです。
以上、オープンエンド性がAIの実現にとって、そして、そのメカニズムを理解することが私たちの未来にとってもなぜ重要であるのか。スタンリーによるその7つの理由を紹介しました。
ここに出てくるアルゴリズムやその背景となる考え方は、拙著『ALIFE | 人工生命』で、分かりやすく説明しています。オープンエンドな世界に興味を持った方は、ぜひお手に取ってみてください。
表紙画像出典：
https://salesplaybookb2b.com/wp-content/uploads/2020/04/question-mark-heads-1024x544.png
この記事が気に入ったらサポートをしてみませんか？