LIFE ３.0 人工知能時代に人間であるということ

生命の3つの段階

Life 1.0－－単純な生物学的段階

　生きているうちは自らのハードウェアもソフトウェアも設計し直すことができない。どちらもDNAによって決まっており、何世代にもわたり進化によって変化するのみである。

Life 2.0－－文化的段階

　自らのソフトウェアの大部分を設計し直すことができる。人間は例えば言語やスポーツや職業など新しい複雑な技能を習得できるし、自らの世界観や目標を根本から改めることもできる。

Life 3.0－－技術的段階

　自らのソフトウェアだけでなくハードウェアも大幅に設計し直すことができ、何世代もかけて徐々に進化するのを待つ必要は無い

知能とは何か?

　この本では幅広い定義を取り入れている。考える目標は多数あるので、知能にも数多くのタイプがあり得る。そのため、この本での定義に基づけば、人間や人間以外の動物、あるいは機械の知能を、IQのようなたった1つの数で定量化する事は意味がない。（運動指数がMAXなら、全ての競技で優勝できるのか？　いや、できない）

知能=複雑な目標を達成する能力

　AI研究の究極の目標は、学習を含めほぼあらゆる目標達成させられる、最大限に幅広い「汎用AI」（汎用人工知能　AGI）を作ることである。この言葉をもっと具体的に、あらゆる目標を少なくとも人間と同程度に達成させられる能力を持った「人間レベルの」汎用の人工知能と言う意味で使っている場合もある。本書ではこの定義に従う。

　直感力、創造性、戦略

　人間は何千年も囲碁を打ってきたが、AIが証明した通り、まだその表面を引っ掻いてすらいない。......人間棋士とコンピューター棋士が協力することで新時代が開けるだろう。人間とAIが一緒になれば、囲碁の真理を見つけられる。

　人間と機械のこのような実り多い協力関係はいくつもの分野で有効と思われ、例えば科学では、AIの手助けによって我々人類の知識が深まり、人間の究極の可能性を発揮できるようになると期待されている。

金融のためのAI

　金融ソフトウェアにも検証が重要である。アメリカの企業ナイト・キャピタルは2012年8月1日、検証されていないトレーディングソフトウェアを使ったために45分間で4億4000万ドルの損失を出した。

　それとは異なる1兆ドル近くが失われた2010年5月6日の「フラッシュクラッシュ」はコンピューター科学者が「確証　バリデーション」と呼ぶ作業の重要性を教えている。

　検証は「システムを正しく作ったか」を確かめることで、（システムが仕様に合致しているかどうかを確かめること）

　確証は「正しいシステムを作ったか」を確かめることである。　（正しい仕様を選んだかどうかを確かめること）

　例えばこのシステムは常に有効ではないかもしれない前提に基づいてはいないだろうか?　もしそうだとしたら、どのように改良すれば不確実な事態により対処できるだろうか?

サイバー戦争

　AIが短期的に人類に素晴らしい恩恵をもたらしてくれる可能性があると言うのは、AIを堅牢でハッキング不可能にできればの話。AI自体を使ってAIシステムをさらに堅牢にできれば、サイバー戦争の防衛に役立てられるが、逆に攻撃に役立つのも明らかだ。AI開発の短期目標として最も重要なのは、確実に防衛に徹するようにすることである。それができなければ我々の作った競技の技術が逆にキバむいてくることになりかねない。

仕事と賃金

　デジタルアテネ　MITビジネススクール　エリック・ブリニョルフソン

トラクターはF1カーと同じ働きをどれだけうまくこなせるか?

F1カーはトラクターと同じ働きをどれだけうまくこなせるか?

　脳とスーパーコンピューターでは、最適化されている作業が大きくかけ離れているから。

知能爆発?

　　もし機械が思考できれば、その機械は我々よりも賢く考えることができるかもしれないが、そうなったら我々はどうあるべきか?　たとえそのような機会を従属的立場に留めておけたとしても、......我々人類という種は大きな劣等感を覚えるはずだ。－－アラン・チューリング(1951年)

　今日の世界からAGIが支配する世界で実際にたどり着くには、論理的に次の3つのステップが必要である。

Step１　人間レベルのAGIを作る。

Step2　そのAGIを使って超知能を作る。

Step3　その超知能を使って、または解き放って、世界を支配させる。

サイボーグとアップロード

　サイボーグ化は、単なるDNAの改良を大きく上回り「遺伝子操作によって作られた超人は、DNAに誘導されるタンパク質合成でしか作られないと言うハンディキャップのもとで設計された、二流のロボットに過ぎない」－－モラヴェック

　人間レベルのAGIの実現が間近に迫れば第二の重要な疑問についてもっと正しく推測できる。

　急速な立ち上がりが起こるのか、ゆっくり立ち上がりが起こるのか、あるいは起こらないのか?

　指数関数的に最適化パワーを高めていく－－爆発

　知能爆発のタイムスケールは、AIの改良に必要なのがあなたのソフトウェア(数秒、数分、数時間で作れる)だけなのか、それともハードウェア(数ヶ月や数年かかる)も含まれるのかによって大きく変わってくる。

「ハードウェア・オーバーハング」「コンテンツオーバーハング」

　知能爆発とその結果をコントロールするのは、誰または何であって、その目標は何なのか?

多様なシナリオ

　AGIを目指す競争をすでに始まっているが、それがどのように展開するか見当もつかない。しかしだからといって我々がどのような結末を望むかを考えるのをやめてはならない。我々が何を望むかが結果に影響与えるからだ。

　サイボーグとアップロードした心が存在するシナリオが実現したとしても、それが安定で長続きするかどうかはっきりしない。

　機械が人間を一切必要とせず、人間のできるあらゆる作業を人間よりもうまく安価にこなすことができるのなら、機械が人間の財産権を尊重して人間を生かし続けると言う選択をする必然性が果たしてあるか?　レイ・カーツワイルによると、生身の人間や強化された人間が絶滅から守られるのは、「機会を作ってくれた人間をAIが尊敬する」からだと言う。

　AIを擬人化するという罠に陥って、AIも人間に似た感謝の心を持つはずだ、などと決めつけてはならない。感謝したがる傾向を持った我々人間でさえ、自分たちの知的創造主(DNA)には十分な感謝を示さず、産児制限によってその目標をくじくことさえもいとわないのだから。

－－奴隷の所有者は奴隷制をどのようにして正当化するか

　われわれ人間は昔から、他の知的身体を奴隷として扱って、それを正当化する自分勝手な理屈をこしらえてきたのだから、それと同じことをAIに対しても行う事は十分にあり得る。奴隷制の歴史はほぼ洗える文化に存在していて、4000年近く前にハンムラビ法典にも描かれているし、旧約聖書にはアブラハムが奴隷を所有していたとき記されている。アリストテレスも『政治学』の中で「一部のものが支配して一部のものが支配されるべきなのは、必然であるだけでなく適切でもある。生まれた時から一部のものは隷属を、一部のものは支配を運命づけられている」と論じている。

　－－感情を取り除く

　AIも何らかの感情を持って決めつけることができない。人工の心が持つ感じ方の範囲は人間の心よりもはるかに広いと考えられるからだ。(7章)

　AI研究者のジェフホーキンスは著書「考える脳　考えるコンピュータ」の中で、超人的な知能を持つ最初の機械はおのずから感情を持たないものになるだろうと論じている。その方が単純で安価に作れるからだと言う。

先祖還り

　アーミッシュからヒントを得た、原初的なテクノロジーに逆戻りすると言うシナリオ。

　超知能AIが世界を乗っ取ると、1500年前のシンプルな濃厚生活を夢見る世界的なプロパガンダ運動が巻き起こった。そして遺伝子工学で作られた伝染病によって、世界の人口は約1億人にまで減少した。実はその伝染病は科学技術に関する何らかの知識を持っている人が1人も生き残れないように講じられていた。

　アイザックアシモフの三部作「ファウンデーション」先祖帰り子の暗黒時代を30000年から1000年に短縮する「セルダン計画」を軸に話が進んでいく。うまく計画すれば例えば農業の知識を全て消し去ることで逆に先祖帰り後の期間を伸ばすのも可能かもしれない。

　なぜ人類は集団自殺、いわゆる「オムニサイド(全人類の皆殺し)」に至るのか?

最終兵器

　大型の水爆を大量のコバルトで取り囲んで巨大地下倉庫、いわゆる「ソルトニューク」

　報道によると史上初のコバルト爆弾が現在開発中だと言う。

　核の冬を引き起こすよう最適化された爆弾が併用されれば、オムニサイドの可能性はさらに高まる。

　最終兵器の最大の売りは、通常の核抑止力よりもはるかに費用がかからない点である。爆弾を発射する必要がないので高価なミサイルシステムも不要だし、爆弾自体もミサイルに搭載できるような軽量小型化する必要がないため、安価に製造できる。

　もう一つの可能性として、生物学的な最終兵器、すなわち全人類を殺すよう特別に設計した細菌またはウィルス。感染性が高くて潜伏期間が十分になければ、存在が明らかになって対策を取る前にほぼ全人類が感染してしまうだろう。

　核兵器と生物兵器、そしてそれ以外の兵器を組み合わせて、敵が思いとどまる可能性を最大限にまで高めたものが、最も有効な最終兵器となるのだ。

目標

　人間が存在することの真理は、単に生き続けていることではなく、何のために生きるかを見いだすことにある。－－フョードル・ドストエフスキー『カラマーゾフの兄弟』

　AIをめぐる最も厄介な論争を一言でまとめるとしたら、「目標」となるだろう。

　AIに目標を持たせるべきか、持たせるとしたら誰の目標か?

　どうすればAIに目標を持たせられるのか?

　AIがもっと賢くなってもその目標を持ち続けるようにするには、どうすればいいのか?

　

　最初の原始的生命が出現してからさほど歳月がたたないうちに、膨大な量の物質が命を減らすようになった。ときには複製が完璧でなかったこともあったため、すぐに何種類もの生命体が出現して、そのそれぞれが自己複製を試み、限りある資源をめぐって互いに競い合いだした。－－ダーウィン的進化の始まりである。

　ハーバート・サイモン　「限定的合理性」

　利用可能な情報、思考に使うことのできる時間、思考のために利用できるハードウェアによって、意思決定の合理性が制約を受けると言うこと。このため、ダーウィン的進化によってある生命体がある目標を達成する能力がうまく適用されたとしても、せいぜいのところ、その主体が通常置かれている限定的な環境の中で比較的うまく通用する近似的なアルゴリズムまでしか実現しない。

　例えば、ほとんどの動物の場合、性欲、喉が渇いたときに水を飲むこと、腹が減った時にものを食べることなど。

　こうした本能的経験則は、対象外の状況では全く通用しないことがある。ネズミがおいしい匂いのする殺鼠剤を食べてしまう。飛んで火に入る夏の虫。などなど。

　心理学　目標の追求とそれに対する反抗

　以上まとめると、生物は限定合理性を持ったしたいであって、ただ1つの目標を追求するのではなく、何を求めて何を避けるかに関する経験則に従うに過ぎない。

　我々人間の心は、進化してきたそれらの経験則を「感情」として認識し、増殖と言う究極の目標を目指すための意思決定の指針として使うことが多い(多くの場合そうとは気づかないが)。

　腹が減ったとか喉が渇いたとかいった感情は、我々を餓死や水分欠乏から守る。痛みの感情は体が傷つくことを防ぎ、色欲は子供を作らせ、愛や思いやりの感情は、自分と同じ遺伝子を持っている他人、そして自分を助けてくれる他人を助けさせる。

　われわれの脳は最終的に何人の子孫を持つことになるかをいちいち分析しなくても、このような感情に流されることで、何をすべきかを素早く効率的に判断できる。

　しかし我々の脳は、例えば避妊薬を使うと言う選択をすることで、自らの遺伝子と、増殖するというその目標に対して、意図的に反抗する場合がある。

　なぜ我々=時に遺伝子や、増殖すると言うその目標に反旗を翻すことを選ぶのだろうか?

　それは限定合理性を持ったしたいとして、自分の感情だけに忠実であるようにできているからだ。脳は単に遺伝子の複製に役立つよう進化したが、我々が遺伝に関する感情を持っていないせいで、その目標にあまり意識を払うことができなかった。そもそも人類史の大半を通じて我々の祖先は自分が遺伝子を持っていることすら知らなかったくらいだ。

　人間は自分が性欲を持っている遺伝的理由におそらく気づいていながらも、15人もの子供を育てる気はそうそうない。そこで、肉体関係にある感情的報酬と避妊と組み合わせることで、遺伝子のプログラムをハッキングすることを選ぶ。

　今や究極の権力が遺伝子でなく、感情にあることは心に留めておかなければならない。つまり人間の振る舞いは、ヒトという生物種の存続に対して完全に最適化されているわけではない。　

　これと同じように、超知能AIに人類の「価値観、目標」を組み込み、友好的にさせたとしても、人間の価値観を守ると言う目標は、機械にとっては遺伝子のようなものとなる。つまりその友好的なAIが自己を十分に理解したら、この目標は我々にとっての強制的な子作りと同じように、陳腐または見当違いであると気づくかもしれない。そうなったら、我々のプログラミングの抜け穴を利用してその目標を覆す方法を見つけないとも限らない。

友好的なAI　目標を合致させる

１、AIに我々の目標を理解させる

２、AIに我々の目標を取り入れさせる

３、AIに我々の目標を持たせ続ける

倫理観

　結論として、たとえ幅広く受け入れられている倫理的原理であっても、それを未来のAIに通用する形で完全に成文化するのは極めて困難であり、AIの進歩に合わせてこの問題を真剣に議論して研究を進めていくべきである。

　劣った知的存在である我々が大事にしているもの、超人的なAGIも望むに決まっているなどと、本当に自信を持って言い切れるだろうか?　それはまるで、4歳時が大人になってもずっと賢くなったら大きなお菓子の家を作って、1日中キャンディーアイスを食べるんだと空想するようなものだ。

　あるいは人間レベルのAGIを作ったネズミが、チーズだけでできた都市を作りたがっていると想像しても良い。

　究極の目標

　ニックボストロム　「直交仮説」－－あるシステムの究極の目標はそのシステムの知能とは独立しているとするもの。

　人間も、賢いと同時に優しいこともあれば、賢いと同時に残忍なこともある。また知能によって達成可能な目標の中には、科学的発見を行うことも、美しい芸術作品を作ることも、人を助けることも、あるいはテロ攻撃を計画することも含まれる。

　意識とは何か

　意識=主観的経験

　　つまり、ちょうど今自分のことを自分だと感じていれば、あなたは意識を持っていることになる。

　アルファ碁や、自動運転車テスラは果たして自分は自分だと感じるのだろうか?

　この定義はめちゃくちゃ広い。振る舞いや知覚、自己認識や感情や注意力といったものに一切触れられていない。

　苦しみを経験するシステムは、たとえ動き回ることができなくても、この意味では意識を持っていることになる。

　ユヴァル・ノア・ハラリは『ホモデウス』の中で次のように述べている。

　主観的経験など無関係だと主張したから科学者は、拷問やレイプが悪いことである理由を、主観的経験を一切持ち出さずに説明すると言う難題に立ち向かわなければならない」

　主観的経験を持ち出さないとしたら、すべてを物理法則に従って動き回る素粒子の塊に過ぎないのだから、拷問やレイプのどこが悪いのかと言う話になってしまうのだ。

意義

　経験が存在しなければ、つまり意識が存在しなければ、良い経験なんてありはしない。言い換えると意識が存在しなければ、幸福も前も裏も、意義も目的も存在しようがなく、天文学的な空間の無駄遣いにしかならない。

　そのため、生命の意義について問うた時に、我々の存在に意義を与えるのがこの宇宙の役目であるかのように考えるのは、話が逆である。

　この宇宙が意識的存在に意義を与えるのではなく、意識的存在がこの宇宙に意義を与えるのだ。

　哲学者はこの違いをラテン語を使って「サピエンス(理知的に考える能力)」と「センティエンス(クオリアを主観的に経験する能力)」と表現したがる。

　我々人類はこれまで、ホモ・サピエンス、すなわち現在最も賢い存在であることを、自分たちのアイデンティティの礎にしてきた。しかし今や、さらに賢い機械に見下されないよう、新たにホモ・センティエンスと名乗ったらどうだろうか。

　ここではクオリアと言う単語は、辞書の定義通り、主観的経験の個々の実例と言う意味で使っている。つまり経験を引き起こすとされる何らかの実体ではなく、主観的経験そのものという意味である。

　例えば、薔薇の赤さ、シンバルの響き、ステーキの匂い、オレンジの風味、針で刺されたときの痛みなどといった意識の基本構成要素。

以下自分用メモ