『談 no.127 自動化のジレンマ』

☆mediopos-3157　 2023.7.10

『談 no.127 』の特集は
「自動化のジレンマ」

「自動化」とはいうまでもなく
ＡＩ（人工知能）によるものである

ＡＩ研究は現在
三度目の黄金期（第３次）を
むかえているといわれている

そのブームのきっかけをつくったのは
「深層学習（ディープラーニング）」で

それは「コンピュータに大量のデータを読み込ませて、
そのデータのなかから何らかの法則性を
コンピュータ自らが見出していく手法」である

それまでのＡＩは
「目するべき特徴を人が指示」する必要があったが
深層学習ではたとえば
「大量の画像を読み込ませるだけで、
画像に含まれる着目すべき特徴をＡＩが
自分で抽出できるように」なり
より高い精度でクルマの完全自動運転をも
可能になろうとしている

しかしどんなに深層学習が進んで
「もし人間のすべての思考や行動を機械化、
もしくは自動化できたとしても」
それは「人間と同じ「知性」をもつ機械だ」
といえる保証はない

多くの場合人間の思考パターンと同じアウトプット
ときにはより精度の高いそれが導き出せたとしても
ＡＩのなかでどのような思考パターンが
生じた結果そうなっているかはブラックボックスである

同じ顔をして
同じようなことを考えているようで
まったく違った道筋を通っているのとだともいえる

そしてひょっとすると
致命的なアウトプットがそこに生じる可能性も
あるということなのだ

「自動化」の問題はまずそこにある

さらにはクルマの完全自動運転の際に起こりうる
（その例以外にも同様に起こりうることだが）
倫理学における「トロリー問題」がある
（長くなるので「トロリー問題」については引用を参照）

いわば究極の選択のような状況にあって
なんらかの責任が避けられないとき
その選択責任をどのように倫理的にとらえるか
ということである

これはかつてＳＦ作家アイザック・アシモフが
『われはロボット』でロボットの行動について
提示した３つの原則
「人間に危害を加えてはならない」
「人間の命令に従わなければならない」
「自己を守らなければならない」
のような比較的わかりやすい問題ではない

しかもそうした原則を人間が与える際
政治的宗教的なバイアスなども
一般化できるような問題にはなりにくい

さてそんななか日本における
教育的現状をみると
「人間の知恵」を問うような課題さえなく
むしろＡＩの追随を目的とするような惨状である

「トロリー問題」にしても
いまや政治家が「責任はじぶんにはない」と言い放てば
そこに倫理的な問題がないかのようにされてしまうほどだ

さてそんななかで
今後さらに進んでいくであろうＡＩに対して
どのように「人間の知恵」を問い直していくか
その問いかけ如何で
人間の未来は大きく変わっていきそうである

■『談 no.127 自動化のジレンマ』
　（水曜社 2023/7）

（佐藤真「自動化の台頭、問われる人間の知恵（wisdom）」〜「脳をまねるＡＩの登場」より）

「一九五六年に開催された「ダートマス会議」は学問分野としてのＡＩ研究の出発点とみなされていますが、その後二度の黄金期（第１次・第２次）と二度の冬の時代を経験し、現在、ＡＩは三度目の黄金期（第３次）をむかえているといわれています。そのＡＩブームのきっかけをつくったのが深層学習（ディープラーニング）です。

　深層学習は、簡単にいうとコンピュータに大量のデータを読み込ませて、そのデータのなかから何らかの法則性をコンピュータ自らが見出していく手法です。（･･･）

　第２次ブームまでのＡＩでは、主に人がコンピュータに問題を解くためのルールを与えたり、知識を詰め込んだりすることで、知能（知識）を再現しようとしてきました。それに対して、現在のＡＩ研究で主流となっているのが「機械学習」です。機械学習とは、機会（コンピュータ）が自ら「学習」するためのしくみです。機械学習にはいくつかの手法がありまうすが、その一つが脳のしくみをまねて情報を処理する仕組みで、ニューラルネットワークと呼ばれています。このニューラルネットワークの手法を発展させたのが深層学習です。」

「ニューラルネットワークのなかで、人工ニューロンの層を多層化した（深くした〕ものが深層学習です。深層学習が、高い性能を発揮したことで、第３次ＡＩブームが起こりました。こうしたブレークスルーはなぜ生じたのでしょうか。それは、深層学習によって、ものがもっているさまざまな特徴を、ＡＩが自ら見つけ出すことができるようになったからです。

　深層学習が登場する前の機械学習では、たとえば、チューリップとヒマワリを見わけるために「〈色〉と〈花びらのかたち〉に着目しなさい」というように、着目するべき特徴を人が指示しました。ＡＩは、人に教えられた特徴をもとに、「赤みがこの程度で、花びらがこのような形ならチューリップ」などのように学習していたのです。しかし、どのような特徴に着目するかによって、ＡＩの性能（答えを予測する精度）は大きく変わります。深層学習では、大量の画像を読み込ませるだけで、画像に含まれる着目すべき特徴をＡＩが自分で抽出できるようになったのです。しかもＡＩが抽出する特徴には、画素と画素の複雑な関係のような、人が明確まコトバで表せないものや、人では捉えきれないものも含まれています。そうしたことから、深層学習を使うことで、人が特徴を教えるよりもずっと精度の高い予測ができるようになったのです。クルマの完全自動運転が可能になりつるあるのも、ＡＩの深層学習の発展があったからに他なりません。」

（佐藤真「自動化の台頭、問われる人間の知恵（wisdom）」〜「自動化の倫理学」より）

「深層学習の「発展を後押ししたものに一九九〇年代後半からのインターネットの発展・普及があります。従来のデータ処理ソフトウェアではとても扱うことのできない巨大な規模のデータ、いわゆるビッグデータがインターネット上に流通するようになり、そうした大量のデータを統計的手法やパターン認識の手法を用いて分析し。そこから有用な知識やパターンを発見するデータマイニングが急速に普及しました。

　深層学習は、人間の脳の神経細胞のつながりを模してつくられたシステムです。そもそもニューラルネットワークは、非常に複雑なシステムです。それゆえコンピュータが習得した独自の判断基準は、人はほぼ理解できないといわれています。（･･･）

　じつは、このようなＡＩの特徴は、自動運転に利用する時に、問題となります。自動運転技術を語る際に避けて通れないのが一般的に「トロリー（トロッコ）問題」と呼ばれる倫理的な問題です。もともと哲学の応用倫理学の分野で話題になっていた問題ですが、それがクルマの自動運転技術においても同様の問題として、注目されるようになりました。

　倫理学における「トロリー問題」は、およそ次のようなものです。「止まれなくなったトロリーがあり、そのまま進むと線路上で作業をしている五人をひいてしまう。その手前には分岐点があり、トロリーの線路を切り替えれば、五人の命を助けることができる。ただし、切り替えた線路にも作業員が一人いる。今度は、そちらの一人が犠牲になる。五人を救うために一人を犠牲にするか、一人を救うために五人を犠牲にするかあなたならどうする？」

　同様の倫理的問題が自動運転でも考えられます。（･･･）運転者（人）がいれば、運転者の責任を追及することができますが、もとより自動運転車ですから、運転者はいません。

　私たちは、ある人間に責任を問う時、問題の原因となった「行為」がその人自信によるものかどうかを考えます。哲学では、行為を生み出す能力をそなえた人を「行為者」といいます。つまり、責任を問う時は、その人間がそもそも行為者たり得るかを問う必要があるのです。（･･･）

　ＡＩに責任を負うことは、原理的にできないのです。」

（杉本舞「自動化のコノテーション…AI研究の進展と自動化が意味するもの」より）

「ＡＩの研究者とお話していてわかるのは、「人間のように学習し思考するＡＩ」はＡＩ研究にとって地平性の向こうの、簡単には実現できない遙かなる「夢」なんですね。目指す夢は同じでもそこに至るルートはいろいろあって、機械学習やロボティクスもその一つではあるけれど、どうしたらその夢に辿りつけるかについては。研究者の間でも合意はない。そういったことには、留意しておく必要があるかと思います。

　また、もし人間のすべての思考や行動を機械化、もしくは自動化できたとしても、それがすなわち人間と同じ「知性」をもつ機械だ、と言える保証もないわけです。人間の思考を枚挙し機械化したとしても、人間の知性が枚挙された思考の集合に換言できるとは限らないし、そもそも枚挙できるのか、あるいは根本的に知性とは何か、ということさえそれほど自明ではありません。」

「･･････コンピュータが今日のようにユビキタス化して不可知になっていき、アーキテクチャやプログラミングを意識しないでも使えるようになると、使っている人自体が、無意識に自動化されている状況が起きているのではないでしょうか。

　コンピュータがブラックボックス、言い換えれば「魔法の箱」になっている、ということですね。今の大学生たちもまさにそのような状況に置かれていて、多くの学生はコンピュータにしてもスマートフォンにしても、中で何が起きているかをまるで知りません。ＡＩにしても同じで、たとえば今話題の対話型ＡＩの「ChatGPT」が出す答えも簡単に信用し、ご神託にしてしまう。アルゴリズムやプログラムが、とても客観的だと思い込んでいるんです。でも、当然ながら処理するプログラムや入力するデータに偏りがあれば、出力も異なります。コンピュータの出力が本当に信頼できるものなのかどうかは、しっかり判断しないとわからないわけです。」

（鈴木貴之「自動化は自律化をもたらすのか」より）

「ニューラルネットワークは人間の脳をモデルにシテいますが、先ほどもお話ししたように、中間層の数や逆方向の情報の流れ、学習に必要な訓練データの量など、細かく見ていくとかなりの違いがあります。その違いがどの程度のものであり、どのような意味をもつものなのかは、今後の研究で明らかになってくるでしょう。

　現在でも、たとえば画像認識におけるＤＮＮの間違い方のパターンは人間とは異なる、ということが知られています。ＤＮＮの画像認識では、ある画像、たとえばイヌの画像に人間の目では、あったくわからないノイズを加えると、人間の目には依然としてイヌにしか見えない画像を、アヒルと判定してしまう、というようなことが起こります。このような現象は「敵対的事例」と呼ばれ、意図的にどういうことを引き起こる手法も発見されています。ＤＮＮと人間の脳のメカニズムが完全に同じであれば間違い方も同じはずなので、このような事例が存在するということは、やはりどこかに違いがあることを示唆しているように思われます。このような現象が存在することから、ＤＮＮと人間の脳はまったく違うものを学習しているのではないかと考える研究者もいます。これは非常に重要な意味をもつ問題かもしれません。（･･･）
　私たちに見えないところで、ＡＩが私たちの想定とは違うことを学習してしまっている可能性があるということには注意が必要です。」

（笠木雅史「自動運転とトロリー問題…自動化・人工知能・倫理」より）

「おそらく二つの問題があります。

　一つは、深層学習というのは、その場その場の判断から学んでいく方式ですから、その学習されたものは、人間が考えるような原理的な思考の一貫性があるものになるとは限らないということです。かつ、「なぜその状況でそうしたのか。そうすべきだったのか」という判断を原理立てて説明できない状況が生まれることになります。ここが「信頼」の問題と関係してきます。ある程度課題実効性が高く、ある程度うまくいろいろな状況を判定できるようなＡＩをつくっても、「なぜそういう判定をしたのかということの原理的な説明ができない」ということが、「ＡＩは説明できない」とか「ＡＩは信頼できない」とよく言われる理由の一つです。

　もう一つは、メーカーによって深層学習のデータ、プログラムがバラバラだという問題です。事故を起こさないことを追求するなら、「走っているクルマすべてが同一プログラムにもとづく自動運転車」という状況がもっとも理想的です。同じシステムで動いていれば、二台のクルマが衝突しそうになっても、一方がそっちに避けるなら他方はこっちに避けるという判断が同時にできます。ところが異なるプログラムにもとづいていれば、相手のクルマの挙動は事前にはわかりません。」

「「トロリー問題」に関連しては、いろいろな調査が大規模に行われていて、なかには世界的な調査もあります。その結果から、「この原理が多くの人の意見と一致しているから、この原理に従ってプログラムした」と言ったとしても、「なぜそれが正しいのか」という回答にはなりません。（･･･）その際、伝統的な倫理学のやってきたことは、大いに役立つのではないかと思っています。」

【目次】

〈コンピューティングの歴史〉「自動化のコノテーション…AI研究の進展と自動化が意味するもの」
杉本舞（関西大学社会学部社会学科社会システムデザイン専攻准教授）

2010年代に入って、AIは歴史上3度目のブームを迎えたといわれている。コンピュータを用いた推論や自然言語処理、探索といった演繹的アプローチによる研究やパーセプトロンをはじめとする人工ニューラルネットワークに関する研究が始まった1960年代の第1次ブーム、エキスパートシステムをめぐって進展しAIビジネスが立ち上がった1980年代の第2次ブーム。そして、機械学習研究が進展しディープランニングがメインテーマとなった2010年代の第3次ブーム。AIビジネスへの投資が本格化し、いまやAIは国際競争力と国家安全保障の要になりつつある。コンピューティングの最大の特徴である自動化に焦点を当て、AI研究の歴史的検証を通して、自動化の意味および自動化概念の拡張領域を探索する。

〈AIの哲学〉「自動化は自律化をもたらすのか」
鈴木貴之（東京大学大学院総合文化研究科広域科学専攻 相関基礎科学系教授）

自律型ロボット=ヒューマノイド型ロボットが人間社会に活躍の場を見出すことは、少なくともSFのなかでは、自明だった。鉄腕アトムはそうであったように、ロボットはその誕生から、自律するものだった。自律型ロボットが普及すれば、単純労働における労働不足が解消するかもしれない。究極的には、私たちは全ての労働を自立型ロボットに行わせることができるかもしれない。そうなった時、人類は歴史上初めて働く必要のない存在になるのである。RPAは、いわゆるロボットによる業務自動化で、人間がやるのと同じように自動的にさせることをいうが、AIはさらに進み、自ら考え判断して行動する。このことを自律と見なすわけであるが、この一連の行為は、本当に自律的といえるのだろうか。自動か自律か。この古くて新しい問題について、人工知能研究からアプローチする。

〈自動運転車の倫理〉「自動運転とトロリー問題…自動化・人工知能・倫理」
笠木雅史（名古屋大学大学院情報学研究科准教授)

応用倫理学の分野で従来話題になるのがトロリー問題だ。トロリー問題とは、暴走するトロりー（trolley=路面電車）の線路上に、追突必死の作業員がいる。路線は、途中で2車線に分岐していて、左の路線には5人が線路に縛られて寝かされていて、右の線路には、1人が同じように縛られて寝かされている。線路脇には線路を切り替えるレバーがあり、その前で第三者が線路をどちらに切り替えるか迷っているが、分岐点までトロリーはせまってきている。さて、第三者はレバーをどちらに切るか、5人を救うためには、右に切る必要があり、1人を救うためには、左に切らなければならない。5人を救うために1人を犠牲にするか、1人を救うために5人を犠牲にするか。近年、自動運転技術の倫理的問題としてこのトロリー問題に関心が集まっている。ここにあるのは、典型的な自動化のジレンマだ。トロリー問題をいかに回避するか、というか、そもそもトロリー問題は解決不可能な哲学上のアポリアなのではないか。

◎杉本舞（すぎもと・まい）
名古屋大学大学院情報学研究科准教授。
著書に『「人工知能」前夜:コンピュータと脳は似ているか』（青土社　2018）、監訳書に『コンピューティング史:人間は情報をいかに取り扱ってきたか（原著第三版）』（共立出版　2021）他

◎鈴木貴之（すずき・たかゆき）
東京大学大学院総合文化研究科広域科学専攻 相関基礎科学系教授。
著書に『人工知能とどうつきあうか』（勁草書房　近刊）、『100年後の世界』（化学同人　2018）他

◎笠木雅史（かさき・まさし）
名古屋大学大学院情報学研究科准教授。
著書に『モビリティ・イノベーションの社会的受容:技術から人へ、人から技術へ』分担執筆（北大和書房　2022）、『実験哲学入門』分担執筆（勁草書房　2020）他。