AIは人の何を管理するのか？ EUのAI規制から考える
コロナ禍のなか、人々は監視されることに慣れはじめている。公衆衛生への意識がひときわ高まり個人への制約や制限もやむなしとの空気が蔓延する。しかし、すこし前を思い出してみると、個人情報の取得はことほどスムーズに社会に浸透するとは考えられていなかった。
冷戦時代のバイブルが思い出されるまで
欧州連合（EU）がAIの利用を制限する方針を示したのは4月22日だ。個人の自由と権利を守るというのがその主旨である。2018年5月にEUで施行されたGDPR（EU一般データ保護規則）からの流れを踏襲したものだが、昨年来の新型コロナウィルス感染拡大防止策として、欧州各国はむしろ個人の行動を規制していた時期だけに意外の感があった。
今回の規制案では、AIの利用によっておこると予測されるリスクを、①禁止、②高い、③限定的、④最小限という４段階に分けて制限をかける。いずれも人間の生命や個人の尊厳にかかわるリスクである。
最も厳しい①禁止にあたるものとして、AIカメラによる公共の場での常時監視が例となっている。こうした類の監視はたとえ警察によるものであっても禁止となる。
今回の規制が非常にヨーロッパ的に感じられるのは、個人主義が根付いた文化である以上に、全体主義的な監視社会に対する警戒感が他の大陸に比して強い点がある。ムッソリーニのファシスト、ヒトラーのナチス、スターリンのソビエトと挙げれば、全体主義の悪しき例には事欠かない。
ヨーロッパ人は全体主義国家を決して繰り返してはならない歴史の厄災だと思っている。ドイツ再統一、ソビエト崩壊を経て危惧の高まりは一段落したかに見えたが、思わぬところから監視社会が忍び寄っていたのだ。
ソビエト崩壊前まで、西側諸国ではアンチ監視社会のバイブルのようにジョージ ・オーウェルの小説『1984』（高橋 和久訳/ハヤカワepi文庫)が読まれていた。書かれたのは第二次世界大戦直後の1949年である。米ソ冷戦の幕開けの時期と重なる。80年代までディッド・ボウイがこの小説をモチーフにした曲を発表するなど、リベラルな知識人の教養であった。『1984』の世界では、「テレスクリーン」と呼ばれる装置で人々のすべての行動が監視されている。テレスクリーンは一種の双方向テレビのようなもので、画像のみならず音声も記録し監視している。
ソビエト崩壊によってしばらく忘れられていたこの名作がふたたび脚光を浴びるようになるのは情報社会の発展によってだ。インターネットとAIカメラが容易にテレスクリーンの情報網を想起させることは言を俟たない。より巧妙に緻密に個人を監視しうるテクノロジーの登場が新たなリスクと認識されるに至っている。
監視とプロパガンダ、規律と環境
情報社会がもたらす監視のあり方を哲学者の東浩紀が「環境管理型権力」（『情報環境論集―東浩紀コレクションS』講談社ほか）と称したのはゼロ年代だ。それまでのパノプティコン型の一望監視のそれとは違い、わたしたちをとりかこむ環境そのものがわたしたちを管理している状況をいう。
アマゾンやYouTubeのレコメンドのように、わたしたちがみずから好んで環境に管理を委ねるのが環境管理型権力の特徴だ。GAFAに代表されるインターネットサービスはほとんどがこのシステムを内包している。
パノプティコン型の一望監視とは、ミシェル・フーコーが『監獄の誕生』（田村 俶訳/新潮社)で指摘した権力のあり方、すなわち「規律訓練型権力」の象徴的システムだ。監獄や病院あるいは学校などは、常時監視の可能性を与えることで、規律を個人の内面に刷り込む。監視されている可能性が念頭にあるために、わたしたちは躾けられて規律を外すことがなくなる。
AIカメラによる常時監視への警戒は、一見、規律訓練型権力へのそれと同じに思える。ゼロ年代以降の情報社会を支配したのが環境管理型権力だとすると、GDPRが危惧するのは規律訓練型権力のようにも見える。
しかし実際には、この２つの型の権力が合わされようとしているのが現在なのだ。
オーウェルの『1984』に登場するテレスクリーンには２つの機能がある。それは監視とプロパガンダだ。双方向性の装置であるテレスクリーンは人々を監視しつつ、国へのロイヤリティを高めるプロパガンダ放送を行う。
言いたいことはこうだ。現代社会に生きるわたしたちが晒されているのは、規律の内面化による支配のみならず、環境が絶えずプロパガンダする思想や文化の内面化（洗脳）による支配なのだ。
どこにいてもスマホを覗き込み、みずから環境に管理されている人のなんと多いことか。
管理されることのプロフィット
アメリカの憲法学者であるローレンス・レッシグは人々の行動を規制する手段として、①法律、②規範、③市場、④アーキテクチャを挙げている（『CODE』山形 浩生訳/翔泳社)。
たとえば飲酒運転の規制を強化する場合には、①違反の厳罰化（飲酒運転したら死刑！）、②社会的禁忌の醸成（飲酒運転するやつは人にあらず！）、③飲酒運転の高コスト化（飲酒者のタクシー運賃を大幅割引！）、④車の機能停止（飲酒を検知したら自動ブレーキ！）といった方法があるわけだ。レッシグが注目したのが④だ。そもそも車が動かなければ、運転という行為そのものが“抹殺”されてしまう。ITはそういう仕組みを容易にする。
テクノロジーの発達はアーキテクチャを強化してきた。ただ、同時に②規範、③市場による制限もまたITの発達によって強化されていることだ。
この②規範、③市場こそが、前項でいう規律と環境である。ソーシャルメディアの炎上騒ぎをみればわかるように、現在はすこしでも規範を外れた行為はすぐに見つかり過剰ともいえる非難が集中する。SNS以前には考えられなかったことだ。また、人の行為の見える化、データ化が進むことで、コストとプロフィットのバランスが崩れた。コンプライアンス違反は単に①法規の逸脱だけでなく、そのまま、個人と法人とを問わず市場からの退場を意味するからだ。②とも密接にからむことが背景にある。薬物に手を出した音楽家はすべての印税収入を失い、不倫した俳優はCM契約を打ち切られる。メディア（マスでもソーシャルでも）はそれだけで大騒ぎだ。なんというプロパガンダだろうか。
こう言ってはなんだが、違反するコストがまったく見合わないから、違反しないプロフィットが相対的に大きくなる。
アマゾンのレコメンドを例にすればわかるように、環境に管理されることはわたしたちにある種のプロフィットをもたらす。同じように、規制を遵守しやすい管理された環境は目に見えるプロフィットをもたらすのだ。
AIのファースト＆スロー
AIはつい10年ほど前まで、論理や計算に強いルールベース型が主で直感やひらめきといった思考に弱いと言われてきた。大人の事務作業のようなものをAIが代替するのは難しくはないが、子どもができるようなことでもAIには決してできない作業もある。
この２つの業務は、行動経済学の基礎をつくったダニエル・カーネマンが言うファスト＆スロー（『ファスト&スロー あなたの意思はどのように決まるか？』上・下 村井 章子訳/早川書房)のそれぞれを司るシステム１とシステム２に分けることができるだろう。システム１とは直感のような“はやい（ファスト）思考“であり、システム２とは論理や合理性を重んじ熟慮する”おそい（スロー）思考“である。カーネマンは、人々は経済的な判断でさえ合理的には行わず、経験や直感的な感覚で決断することを実験で証明した。
これまでのAI は、比較的に人が苦手とするシステム２の思考は得意だったが、システム１についてはなにもできなかった。10年前まではたしかにそうだった。
それが近年、ディープラーニングのような機械学習によって直感に似たシステム１的な思考を行うAIが登場するようになった。機械学習は、多くのデータを入力して求める方向についての学習を強化していくことで行われる。得られるプロフィットが多いほうに思考が強化されていくという手法である。AIはご褒美を多くもらえる方法を探しつづけて賢くなるわけだ。この手法を「強化学習」という。
強化学習では論理や計算よりも経験（ビッグデータ）が有利になる。AIは強化学習で躾られているかのようだ。躾によって理屈でぬきに行儀を覚える子どもと同じように。
AIがシステム１の思考をできるようになった理由もこのあたりにある。
AIが手に入れようとしている権力
すこし遠回りになった。AIがシステム１の思考をできるようなったことが何を意味するかを説明することで、そろそろ結論へ急ごう。
カーネマンが創始した行動経済学は現在さまざまな施策にとりいれられるようになっている。代表的な手法が「ナッジ」である。肘つつきを意味するナッジとは経済学者リチャード・セイラーが考えた概念で、人々が好ましい行動を自然にとるように後押しする行動科学的アプローチのことだ。あたかも隣の人を肘でつつくように次の行動を促すわけだ。わかりやすい入門書として『行動経済学の使い方』（大竹 文雄著/岩波新書)を挙げておこう。
ナッジにはカーネマンらの行動経済学の成果が存分に発揮されている。そもそもセイラー自身がカーネマンらとともに行動経済学を研究してきた。
決して合理的には行動しない人間を心理学や行動分析の手法によって行動させることが、行動経済学がもたらしたひとつの成果だろう。そう考えればシステム１を手に入れたAIにも同じように人間の行動を促すことは理論的には可能だ。
結論がみえてきただろうか？
AIがもしシステム１に基づいた思考によって、わたしたちに何らかの行動を促したら、それこそ本当の意味での環境管理権力となるはずだ。AIのシステム１によるナッジは合理的には理解できないだろう。それだけに後からの説明も難しい。人の直感やひらめきが説明できないのと同じだ。AIによって洗脳されるディストピアも想像に難くない。
しかし、実際にはそのとき人は誰もそれがディストピアとは考えないだろう。むしろAIとの共存に安全と幸福を感じているはずだ。それほど自然にAIはわたしたちを管理しうる可能性がある。
この記事が気に入ったらサポートをしてみませんか？