【インタビュー対談】東大鳴海先生がVRの認知や感覚の研究を始めたきっかけは？生成系AIの登場をどう考えているか？
今回は東京大学の鳴海准教授へインタビュー対談という形でお話を伺いました。VR・AR研究の第一人者である鳴海先生に様々なテーマでお話しいただいております。（聞き手はVRC代表のシェーです）
鳴海 拓志 プロフィール
東京大学大学院情報理工学系研究科
知能機械情報学専攻 准教授
2006年、東京大学工学部システム創成学科卒業。
2008年に同大学院学際情報学府、2011年に工学系研究科博士課程修了。
同年より情報理工学系研究科知能機械情報学専攻助教。
2016年に講師、2019年に准教授となり現在に至る。
認知科学や心理学の知見をもとにしたVR・ARの研究・開発を行っている。
インタビュイー
謝 英弟
株式会社VRC 代表取締役社長
2010年早稲田大学で画像処理についての研究で博士号を取得。
同大学教員を経て、2010年MEDIATEKに入社、その後2012年サムスン日本研究所に移籍。3D技術を生かしたアバタープラットフォーム事業を中心とするVRCを2016年に設立し、代表取締役として就任。
視覚や触覚を変えることでどう認知が変わっていくのか、という点について興味をもち、VRの研究などを始めた鳴海先生。研究を始めるきっかけになったきっかけから始まり、どう認知していくことで自分の体であると認識していくのか、など興味深いお話を伺いました。
自分が行動したと感じるまでの内部認知にはパターンがあるということや、最近話題の生成系AIについてのコメントもいただきました。
■VRを使った感覚の相互作用について研究を重ねてきた鳴海先生。感覚と知覚の先にある「自分の体」だと感じる仕組みとは？
シェー
鳴海先生はそもそもVRなどの研究され始めたのはいつ頃からなんですか。
鳴海先生
そうですね。僕が研究を始めたのは2006年とか2007年ぐらいで。でも、その時はあんまりアバターの研究はしてなかったですね。アバターの研究をし始めたのは、本当にこの5年〜8年ぐらいです。
シェー
当時の研究を始めたきっかけは何かあったんですか。
鳴海先生
元々僕はメタクッキーっていう食べ物の味を変えるシステムをやっていて、見た目と匂いを変えてあげると、食べた時の味が変わるとか、視覚で触覚を変えるみたいなことや、例えば、持ち上げた時にゆっくり持ち上がっていくように見せると重く感じるとか、そういう視覚や感覚に関する研究をやっていました。
そのような感覚の相互作用をずっと研究していたんですが、 物を持ち上げる時ゆっくり動くと重いみたいなのも、結局は身体と感覚の関係だから、感覚の入力を変えると身体の感じ方を変えられる、いじることができるっていうことに興味が出てきたんです。
身体と感覚の関係をよく表す認知科学の実験があります。ラバーハンドイリュージョンと言って、ゴムの手を筆でなぞってあげるのを見せる。で、実際に自分の手とゴムの手がつい立てを挟んであって、自分の手は見えなくて、ゴムの手だけ筆でなぞられてるのが見えるんですが、自分の手の同じ場所がなぞられているので、ゴムの手が自分の手だと思い込んじゃう。その後にゴムの手に突然ナイフを刺すと「痛い」って言うんですよ。実際は自分の手じゃないのに痛いと感じると。
そういう現象を使った研究結果から、どうやって人間は体を認識しているかみたいなところがわかってきています。結局はいろんな感覚が同時に入ってきたものを体という一つのまとまりとして認識するよ、みたいなことなんですね。
で、そうすると、感覚の研究と身体の研究ってのがすごく繋がってきて、いろんな感覚を同時に出せると、自由自在に体じゃないものが体にできるみたいな話とか、VRの中でのアバターっていうのが、本当に自分の体のように感じるということができるようになるっていうところが面白いなと思っていて、興味が繋がってきた感じです。
シェー
なるほど、人間には五感がありますが、最近この数十年の研究開発、あるいは技術進歩から見ると聴覚情報が1番最初技術発達していったと思うんですが、視覚情報も今発達していって、さらに触覚 、ハプティックセンサーとかも研究が進んでいますし、味と嗅覚のVRでの認知研究も出始めていますよね。
私が少し気になるところとすればバランスが悪いということで、五感全部をVR体験で感じるようなことはまだ不可能であり、視覚や聴覚など感じられるものはまちまちなんですよね。
それについて鳴海先生はどう見られてらっしゃいますか。
鳴海先生
そうですね、やっぱり圧倒的に視覚、聴覚偏重なのが今のVR体験だと思っていて、そこはやっぱすごく気持ち悪さがありますね。
日常的な経験って、もっと触ったり、匂ったり、味わったりっていうことにものすごい重きが置かれているのに、やっぱりVRにそこを持っていけないっていうのは、すごくフラストレーションがあります。なので、その我々の最初のアプローチでは、視覚的な表現でどうやってその他の感覚を表現するかっていうところを研究していて、ビジュアルで触覚に訴えるとか、見た目を変えて味を変えるとか、匂いの感じ方を変えるってところのチャレンジをして、その感覚の穴を埋めていっているんですが、まだやっぱりそれだけじゃ足りないなと感じています。もう少しVRでリアルな感覚も扱えるようになって両方がないといけないなと思います。
シェー
鳴海先生のされている擬似的に刺激を与えるような研究はとても面白いアプローチであると思います。自分は研究者出身なので、当時を振り返ると自分自身の研究の目的はとにかく技術的に面白いから研究してみようというようなきっかけだったんですが、何か成し遂げたい目的みたいなのものがあったんでしょうか。
鳴海先生
モチベーションは同じじゃないですかね。単純にやってみたら面白いっていうことですよね。僕がVRを好きなのは、作ったらぱっと体験できて、わって思うと同時に、それで人間の仕組みがわかってくるっていうところがすごく面白いなと感じています。
多分もっとサイエンスを突き詰めている人は、人間のことを深く理解しているかもしれないですけど、それをみんながぱっと体験して理解できる状態にするのは難しいじゃないですか。それがVRでやると誰もが瞬間的に「あ、そういうことなんだ、なんか変わったことが起きてるぞ」ってことはわかるじゃないですか。でもその中に実は人間の深い仕組みの理解があるんですよ、っていうところが見えてきて繋がってくるのが、すごくVRの面白いところだと思います。
■人の感覚や体験から得られる感情はどう生まれるのか？タイプによって認知も異なっていく
シェー
最近いろんな角度で我々も3Dアバタープラットホームを事業としてやっておりますが、最もその難しいと思うのはやっぱりUX的な体験どう形成していくかというところでありまして、まだまだこれから研究開発を重ねてやっていかないといけないと感じています。研究開発を重ねる中で、やはり実用生活に向けていかに利便性、あるいは娯楽性のあるようなものを提供していくかという部分に注目して、日々開発をしていますがその中で1つやりながら気づいたことがあります。
それは人と人との最終的に感じる部分はなんというか近いなと感じていまして、同じ体験をしたときなど感情的な部分、例えば感動を呼ぶとかその空間で感じる感情は同じだなと思っています。
なんの番組だったか具体的には忘れてしまいましたが、すっごく美味しいものをお腹が空いている状態で食べたときの味わいの感動と、1日過ごして疲れてお風呂入った瞬間の感覚とか、あとビール1杯目、1口目のあの「あー」という感じが同じだということを見たことがあります。そういう感覚は鳴海先生が研究されている部分と近しいのではないでしょうか。
鳴海先生
そうですね、そういう感覚や体験と私が研究している部分は近いのかなとは思います。やっぱり根源に何があるのかっていう話で、感覚は感覚だけで切り分けて話してしまうと、すごくつまんなくなっちゃうというか、我々の体験から切り離されちゃいますが、結局その体験の先にどういう感情が生まれるかとか、どういう気持ちになってどういう行動が出てくるかとかそういうところが重要なんだと思います。実は感覚の方がばらついてるっていうのはおっしゃる通りで、やっぱり人によって視覚優位な人もいるし、触覚の方が鋭い人もいるし、物の味わいだって経験によって違うわけですよね。
それでもみんなが共通して美味しいと思えるようなところでは、何かがフックになって気持ちが引きずり出されてくる、みたいなところの仕組みは共通しているはずです。人間の普遍的なところを見ていくとそういうことが言えて面白いなと感じています。
シェー
そうなんですよね。最終的には時間性的な部分も同じように解釈されて、外部刺激による入力の部分は測れると思うのですが、中間層というか、刺激が入ってきた後に人間の中でいかに処理するかという部分というか、その人の性質の部分はなかなかセンシングできないということを最近聞いたのですが、そういったことに関する研究はあるのでしょうか。
鳴海先生
そうですね、直接関係するかわからないんですが、例えば、何かVRでアクションした時にちょっと動きが遅れたりしたら、「あ、自分が動いたのよりも遅れたな」って気づいちゃうじゃないですか。そのまさにぴったり自分がやった感覚だっていうのを「行為主体感」って言うんですが、そういうような感覚がどこから来るかっていう研究をしています。
実はそれを測る方法として、インテンショナルバインディングっていうのがあります。こう時計がぐるぐる回っていて、自分がボタンを押して、「リアクションが来るまでにどれくらいかかりましたか」っていう質問にその時計を見ながら「200ミリ秒です」などと答えるんです。自分が「やった」と思うと、実際にボタンを押してリアクションが来るまでの時間を短く答えちゃうんですね。しかし自分が「やった」と思っていない時は正確にリアクションの時間を答えるんです。
そうやって、「やった」と自分が思えば思うほど、認知の間の主観的な時間が縮むみたいな現象があって、その辺は多分、内部でどういう風に情報を処理しているかというところが重要で、自分がやったことはできるだけ早く処理するみたいなところがあるんだと思うんですよね。おそらく人間にとっての意味のある情報と意味のない情報を切り分けた時の意味付けが、やっぱり全然違うんです。重要性なども全然違うので、 それによって主観的なもの、この実験では時間ですが、そういうものは伸び縮みも簡単にするんだな、というのが面白いと思っています。
シェー
これはすごく興味深い話ですね。こういうものは「慣れ」との関係はあるのかなっていうのを思いました。よく見たり経験しているものと慣れてないものでは、ちょっと反応もやっぱり違うのではないでしょうか。
鳴海先生
そうですね、だからどれくらい結果と自分の予測が一致するかみたいなものが、自分がやった、やってないみたいな判断にもすごく効いてくるんです。あとは、自分がどういう信念を持ってるかも実は重要で、最近は性格みたいなものとの影響を調べたりする実験をしています。
教育心理学の分野とかで、「ローカスオブコントロール」っていう、日本語にすると「統制の所在」と言うんですが、 「あなたの人生は何が支配してると思いますか」っていうのを明らかにする質問紙があるんですね。それで、3つ指標があって 3タイプに分かれるんです。
1つは権力で、自分より何か大きなパワーがあって、自分はそれに従ってるだけだっていうタイプの人。2つ目は自分自身だっていう人。3つ目は運に左右されてるっていう人、その3タイプの人がいるんです。「この世の中を動かしてるのは自分です」と思っているほど、例えば、VRの中で自分じゃない体を自分だと思い込みやすくなったり、自分じゃないアクションを自分だと思い込みやすくなるっていうのがわかってきたりしています。だから、どういう風に自分が世界を信じてるかとか、どういう風に見てるかがめちゃめちゃ認知に効いてくるというのがわかってきています。
シェー
なるほど。この3つのタイプの心理と言いますか、人が育っていく工程の中でこう紐づいていて、こういう風に育っていけば、 こういう風になるなどの何か傾向は見られたりするんでしょうか。
鳴海先生
そうですね。その辺の性格特性は大人になって固定化されている部分の指標を使ってるので、ちょっと発達との関係はわからないですが、もちろんそれぞれどうやってそういう性格になるかっていうのは、今までの経験による影響はすごく大きいと思いますね。あとは、やっぱり慣れによっても全然違うと思いますが、VRの経験がどれくらいあるかとかそういうことからも、やっぱり効果が出やすいものと出にくいものがあったりするのも知られていています。
シェー
この3つのタイプの中でこのタイプが外部の変化に対して適性が最も早いとか、何か傾向はあるんでしょうか。
鳴海先生
やっぱり自分が世の中を支配しているというか、自分の力で生きてると思っている人ほど、いろんな状況に馴染みやすいというか、自分の都合のいいように解釈してくれる人が結構多いなと思います。
シェー
なるほど。これはすごく感慨深い話ですね。
■生成系AIと人類はどう関わっていくのか？チャットというUIがもたらした変化とは？
シェー
最近、Chat GPT も話題になっていますし、少し前はAIが絵を描くMidjourneyとかも話題になりましたよね。人間の発信の歴史は、元々Web1.0からにWeb2.0になって、自分で発信できるようになったことで、コンテンツが爆発的に増えました。そこから視聴者側にはたくさんの情報が溢れてきていて、今までにない変化量が起きているっていう現状だと思います。
今はもうAIの発達で、また情報の出口のところがたくさんコンテンツが増えてきています。量的にも質的にも爆性的に増えていて、そうやっていくと、どんどん外部の変化が激しくなっていくんじゃないかと言われていますよね。そんな中で人間が外部の変化に対して適性があるのはすごくいい話なんですが、AIを利用することで人間はどのように変化していくと思いますか？
鳴海先生
ああいうMidjourneyとかを見た時に、今までイラストを描いてきた人たちの中で反応は分かれたと思っていて。もう自分で描かなくていいというか、もう描いても意味ないと思っちゃった人も当然いるでしょうし、だけどAIをうまく使ったらもっと今より早く描けるとか、効率的に描けるとか、今まで発想しなかったもの描けると思っている人もいっぱいいるんですよね。だから、やっぱり受け取った時にそのどっちに振れるかだと思うんですよね。AIがあれば人間はいらないかっていうと、絶対そういうわけではないので。
AIに得意なことと不得意なことをちゃんとわかっていれば、じゃあ、不得意なことは人間がやろうってなれると思うので、その辺をちゃんと分析する必要があるなと思っています。
シェー
ChatGPTで文章を起こす時に明らかにAIが書いたなと思うような文章になるなと感じています。なんというか人間味が感じられないと言いますか、自分の考えが入っていないというか、すごく綺麗にまとめたなと感じる文章だなと思っています。そういうAIが介在しているのかどうかなど、人の目できちんと判断していくのは必要だなと思います。
鳴海先生
そうですね。自分が上手いなと思った使い方は、例えばビルゲイツだったらどう答えるか答えてみてください、とか質問すればそれらしいことを言ってくれたりするわけですよね。そういう色々なシミュレーションに使ってみるっていうことには、すごく役に立つと思うんですけどね。
ただ、それをそのまま自分のものにしても、やっぱり信憑性があるわけでもないし、考えるプロセスっていうのは得られないわけだから、そこはやっぱり独立して考えないといけないとは思います。ただChatGPTがすごく面白いなと思うのは、インターフェースの役割ですよね。その前のGPTの言語モデルの時点で、研究者としては非常にすごかったし、興味が湧いたんですが、それにチャットという、質問したら答えを返してくれるっていう皮をかぶっただけのものじゃないかと，AIの研究者の多くは最初には割と思ってたと思うんですよ。
だけどそのチャットっていうインターフェースがすごく重要だったっていうことが、多分この半年ぐらいの1番大きい気づきだったんじゃないかと思っていて、つまり、人間とAIが存在している時に「これは言語モデルです」って言っちゃうと、AIは人間の外にあって、なんか「AIさん頑張ってね」っていう感じなんじゃないかなと思うんです。ところが間にどう扱ったら良いかを補助するユーザーインターフェースが入った瞬間に、人間とAIがやり取りをして、人間がもっと賢くなれるとか、人間が何かを生み出すその大きな力になるエンジンになるっていうことが見えたっていうことなんだと思うんですよね。だから、実はユーザーインターフェイスが、人とAIのインテグレーションを変えるみたいなところが、もっと本当はAIの業界でも考慮されるべきだということをすごくよく表してくれたかなと思いますね。
シェー
今のお話のUX的なことを最も今意識して取り組むべきだということに私も全く同感です。ユーザーにとって良いUXになるように意識することは大切なことだと思います。
・・・
ーーいかがだったでしょうか？感覚や認知の部分について、アカデミックな話をお聞きして、ますます興味深い分野だと感じました。このインタビューの続きは後編で！
後編ではアバターを第三者から「自分」と認知された時に起こることや、アバターを使った良い体験などを考えていきます。