ゲームチェンジを起こす研究を！ACT-X「数理・情報のフロンティア」領域の研究者インタビュー
ACT-Xは、若手研究者を対象としたファンディングプログラムです。事業の初年度である2019年に採択された磯沼大先生に、ご自身の研究やACT-Xで体験されたことなどについて、お話を伺いました。
磯沼大（いそぬま まさる）先生のご略歴
大学院修士課程修了後、コンサルティング企業での社会人経験を経て、大学院博士課程に進学し、現在は東京大学 大学院工学系研究科の特任研究員として活躍されています。ACT-Xの研究領域「数理・情報のフロンティア」の1期生として、自然言語処理による自動要約を研究されています。
トピック構造を用いた自動要約
――現在の研究テーマについて教えてください。
人が話している言語をコンピュータにどう処理させるかを研究する自然言語処理の分野で、自動要約（文章を自動で要約する技術）に関する研究をしています。この研究では、AI（人工知能）に要約をどう学習させるのかが肝となっています。
要約の学習では、人間が作成した「見本の要約」をAIにまねさせることが一般的ですが、私は「見本の要約」を全く使わずに学習させる「教師なし要約」を開発し、自動要約を社会に普及させることを目指しています。
――「見本の要約」なしでAIに要約させる研究とはどういったものですか。
AIに文章を要約させるためには、一般的にはAIに人がつくった「見本の要約」を学習させる必要があります。数万もの文章の「見本の要約」をAIに与えることで、文章中のこの部分を引っこ抜けばいいんじゃないかとか、引っこ抜いてきた文を言い換えたりとか、本筋と関係ない部分については消したりとかいうことを学習させる方法が一般的です。
ただ、「見本の要約」が大量に用意されていることは実用上少なく、自動要約が適用できない文章も多いのが実情です。そこで私は、「見本の要約」を使わずに、文章に潜んでいる「トピック構造」をとらえる手法に着目しています。
例えばあるラーメン屋さんの口コミを要約したいとしましょう。口コミの中には「料理」、「雰囲気」、「価格」といった「トピック」があり、「料理」の中には更に「味」、「匂い」、「量」といった「サブトピック」が並ぶと思います。人は要約をつくるとき、こうした「トピック」とその「構造」をとらえて、トピックごとにまとめるという行為を自然に行っていると思います。
そこで文章に潜む「トピック構造」をとらえることで、「見本の要約」に頼ることなく原文の内容を網羅した要約をつくれるのではないかというのが私のアイデアです。
――論文にはそうした構造がありますが、それだけだと「トピック」を自動的に抽出するのは難しい気がします。先生が研究を始める前に、手法はある程度確立していたのですか。
文章から「トピック構造」を取り出してくる手法は既存研究にありましたが、トピックの学習や抽出にとても時間がかかるため、要約生成など大量の文章を学習に使うタスクに応用することが困難でした。
そこでトピック抽出を高速化するように手法を改良することで、様々なタスクでトピック構造を扱えるようにしました。実際に、自分の手法を使って大量の論文から学術トピック構造を可視化する研究などが他の研究グループから発表されています。
そしてトピック構造の概念を実際に要約生成に持ち込んで、見本の要約に頼ることなく要約を自動生成できるようにしたことが私の貢献になります。
――トピック構造をもとに要約するという発想自体が斬新ですね。この発想は企業から大学院に移られて思いつかれたことですか。
背景には前職のコンサルティングでの経験があります。例えば企業の課題をリストアップするとき、まず売上とコストに分解して、更にそれらが何で構成されるかを木構造（ツリー構造）上に洗い出して考えていくことが一般的です。
この木構造に分解することで網羅的に物事を洗い出すプロセスは文章の要約に生かすことができるのではないか、これによって「見本の要約」に頼ることなく原文の内容を網羅した要約を作れるのではないかというのが発想の原点になっています。
とりあえず、から始まったACT-Xへの挑戦
――ACT-Xに応募されたきっかけは何ですか。
指導教員に紹介して頂きました。当時、博士課程に進学して半年で、研究費の仕組みもよく分かっていませんでしたが、どうやら研究費をもらえるらしいし、とりあえず応募してみようくらいの浅薄な動機だったのが正直なところです（笑）。
そこでACT-Xの説明会に参加したところ、「数理・情報のフロンティア」の研究総括の河原林先生から「ページランクのようなゲームチェンジを起こすアプローチや概念を目指す研究をして欲しい」という言葉があり、それが強く印象に残りました。
ページランクとは、ウェブページのリンク構造をとらえることによってウェブページのランキングを行えるようにしたアルゴリズムで、私の一番好きな論文です[1]。Googleの起業の礎を築いた社会的インパクトがありながら、ランキングが隣接行列の固有ベクトルで表されるという数理的にシンプルで美しいものです。
数理的に美しい研究が社会に真に大きなインパクトを与えていくと自分は信じていて、そうした研究を成し遂げたいというのが研究者人生の最終的な目標なので、河原林先生のビジョンには強く共感しました。
――研究費の仕組みを知らなかったとのことですが、申請書を書くにしても大変だったのではないですか。
経費の配分とかも分からなくて、間接経費って何？という感じで、間接経費を直接経費に含めて申請書に記入してしまったりしていました。そうした部分については、採択後、JSTの領域担当の方に指摘して頂くなど親身にサポートして頂きました。
――指導されていた先生に紹介され、募集説明会の河原林先生の説明を聴かれて、ACT-Xで自動要約をやってみようと思われたということですね。
そうですね。教師なし要約というのは社会に役立つという面ももちろんありますが、同時に要約の本質を追求する研究でもあると思っています。人が作った見本の要約の助けを借りることなく要約問題を解けるようになることは、要約というものを数理的にどう表現することができるのか？という問いに対して答えを出すことだと考えています。
例えば、「要約は元の文章の内容を網羅するべき」「要約には一貫性があるべき」といったことを人の言葉では表せますが、それを数式、数学の言葉でどう表すかは自明ではありません。それを考えるための数理の力をもらえるとありがたいなと思いながら取り組んでいました。
“研究者としての個の確立を支援する”ACT-Xでの交流
――ACT-Xに参加されて研究は進みましたか。
「トピック構造」を取り出す効率的な方法ができましたし、そこから要約した文を生成することもACT-Xの研究期間内でできました。研究費のおかげで、非常に大規模なサーバー等を使えたり、他の研究者との論議を通じて知見や着想も得ました。
――ACT-Xに参加されてみて、同期の研究者や領域アドバイザーの先生との論議が役に立ちましたか。
研究内容そのものについても勿論勉強になったのですが、研究者としての姿勢と言いますか、どういう心持ちで研究に取り組むべきかという面で勉強になったことが、私の中での一番の経験でした。
「研究者としての個の確立を支援する」とACT-Xの募集要項には書かれていますが、まさにそのための場だったと思っています。参加した研究領域「数理・情報のフロンティア」は数理･情報の全分野から研究者が集まっていて、研究内容が非常に多岐に渡っています。
例えば、HCI（ヒューマン･コンピューター･インタラクション）系とか、情報系の応用研究の方をみてみると、とてもマジカルで使い道の妄想があれこれ広がるような面白い研究を聞ける一方、数理の人たちの理論研究を聞くと、素人目にみてもエレガントで美しい数式がみられます。
その両方を聞くと、自分の研究は一体どういう立ち位置なのか、いかに中途半端であるか反省させられて、研究者としての自分のアイデンティティを強烈に揺さぶられたことがACT-Xで得られた一番の経験となりました。
メンターを担当して頂いた領域アドバイザーの宮尾先生からも、研究者人生を通じて何を明らかにしていきたいのか、どういった世界を切り拓いていきたいのかを常に問われました。高い視座からのアドバイスを頂ける貴重な時間だったと思います。
――自分に近い分野の研究者の方からの刺激はありましたか。
以前は、目の前の問題をどう解くか、もっと即物的な言い方をすれば、目の前の論文をどう通すか、という近視眼的な見方をしていたのですが、もっと本質的な問いに目を向けるようになったと思います。
他の研究者の話を聴いていると、自然言語という数学では扱いづらいものをいかに数式に落とし込むかという本質的な問いに真摯に取り組んでいて、それがとても刺激になりました。
要約も原文を網羅的にカバーすることとか、一貫性があるべきとかをどう数理に接地させるか議論せずには先に進めないと思っています。地に足を付けて議論していかなければいけないと刺激になりました。
――特に「数理・情報のフロンティア」領域に参加することの意義はどのような点だったでしょうか。
私の研究分野は非常に発展が速く体系化が追いついていない状況で、「理論的にはよく分からないけれど実験的にはうまくいっている」という例がとても多く、要約もそのひとつです。
そうした中で、実験的にうまくいっていたアプローチの位置づけや本質的な部分を理論的に裏付けて整理すると、そこから新しいアプローチが生まれることもあるので、理論の方と一緒に議論できるところが非常に有意義だと思っています。
逆に理論の方は、既存の理論では説明づけられない現象を体系化できるような新しい理論や概念を生むことを目指していて、そうした相互作用によってお互いの分野の発展を促進できることが、この領域のとても良いところだと思います。
――「数理」と「情報」の両方が生きたところですね。ACT-Xの研究領域は1期で20名以上、全体（3期分）となると60名以上の研究者が参加しています。多数の研究者がひとつの研究領域に集まっていることによる出会いなどはありましたか。
ゲーム理論に関連する研究をされている方がいらして、そのアプローチが要約の研究にも使えるか議論したことがあります。要約を作る側は元の文章を読んでもらいたい。一方、読み手側は自分が所望している文章を読みたいと仮定した場合、どのような要約を作成すれば最も多くの読み手に読んでもらえるかをモデル化するのに、ゲーム理論は使えるのではないかと話したことがありました。
自然言語処理の人間にとってゲーム理論は殆ど出くわさない分野なので、多数の研究者が集まっていなければ絶対に出会わなかったアイデアだと思っています。
――学会だと同じ研究テーマの方が多いと思いますが、様々な分野の研究者が集まるACT-Xでの研究発表はいかがでしたか。
たしかに、学会では文脈を分かっている人ばかりが集まっているので、教師なし要約の有用性や面白いポイントなどがあらかじめ共有されていることが多いです。
一方、ACT-Xのようにいろいろな分野の方がいる場合は、共通の文脈が少ないので、どのように伝えれば自分の研究を面白いと感じてもらえるのか、分野を跨いでも皆が面白いと思うものは何かを考えるきっかけになりました。
ACT-Xに参加するまでは自分の研究を他の分野の人に話すことは殆どなかったので、最初は戸惑いましたが、貴重な場だと思います。
――逆に、ACT-Xに参加されて困ったことなどはありましたか。
困ったことというよりは正直な感想なのですが、領域会議は面白い発表を聴いたり、議論したりする楽しさが半分、他の人の凄い発表を聞いたあとに自分の研究を省みて憂鬱になることが半分ぐらいでした。
もちろん領域会議にはお互いをリスペクトしあう空気が流れていて、河原林先生はじめ和気藹々と盛り上げていく雰囲気に溢れています。
それでもベテランの研究者が凄い発表をしていたら、凄いなぁ、自分もこうなりたいなぁで終わりますが、同世代の研究者が独自の哲学をもって独創的、挑戦的な研究に挑んでいるのをみると、自分の研究者としてのアイデンティティは何かを考えさせられました。ACT-Xを経験していなければこうした考えにはなかなか至らなかったと思っています。
――応募当時、大学院生だった訳ですが、大学院生を対象に支援するRA（リサーチアシスタント）経費は申請されましたか。
応募時にはRA経費の制度はまだなくて、制度ができた2年目に申請しました。これは本当に助かる制度でした。大学院生は研究費も欲しいですけれど、それ以外でもお金の面では苦労をすることがありますので、初年度にあれば研究期間開始時から申請したと思います。
――ACT-Xの経験者として、制度やマネジメントに対するご要望などはありますか。
コロナ禍の影響を受けたので仕方ないことですが、もっとオフラインで話したかったと思っています。ACT-Xを卒業した後でも交流会をオフラインで開催して頂ければ嬉しいです。
個人や状況に合わせた自動要約を
――大学院生からポストドクトラル･フェロー（特任研究員）になられましたが、今後、ご自身の研究についてはどのような展開を考えていますか。
自分の教師なし要約研究は応用面でも理論面でもまだまだ中途半端なので、その両面を攻めていきたいです。応用面について言うと、教師なし要約研究の目標は汎用的な自動要約の実現です。
これまでよく使われているベンチマークデータセットで評価をしてきましたが、本当は「こんなことまで自動要約ができるの」と言われるような領域に対して自分の研究を展開していきたいです。
そうしたものの一例として、ソーシャルメディアの世論調査とか、サーベイ論文の自動生成とか、ウィキペディア記事の自動生成とか、今まで誰も自動要約を適用できてこなかったけど、適用できたら凄くインパクトがあるような領域を開拓していきたいと思っています。一緒に研究をして頂ける方がいらっしゃったら、学生・非学生問わずお声がけ頂きたいです。
理論面で言うと、自動要約は実験的にはうまくいっているけど理論的にはよく分かっていないことが多く、良い要約が数式でどのように表現できるか長年考えられてきてはいますが、結局は人が作った見本の要約に学習や評価を委ねているのが現状です。
そもそも要約とは何なのか、何を目的に書かれているのか、ということを出発点にして、それを数式に落とし込んでいった上で、「トピック構造」など、要約研究で使われている概念に紐付けていきたいなと考えています。物理学での運動方程式のような、言わば要約方程式みたいなものを作れたら理想だと思うところもあって、それを目指していきたいです。
――自動要約で、発言者が言いたいことが理論的に分かり、それが社会実装されれば、ソーシャルメディアでの炎上のようなことも良い形で収まるのかなと思いました。
本当にそうですね。
――先生たちの要約技術が実現したら、具体的にどのような世界になると考えていますか。
これは自分の研究がというよりは自動要約ができあがったらという世界になってくるのですが、最終的には個人や状況に対してパーソナライズされたような要約ができあがる世界が自動要約で実現すると考えています。
例えば書籍紹介にはなるべく万人受けする内容が書かれていると思いますが、自動要約だと書くコストはかからないので、ある人に対してはこうした書き方が良いな、あるいは人に限らず、スマホで読むときはここまで短くすれば良いなというように、いろいろなケースに対して適した要約を作れる時代が来ると思います。そういう世界を目指したいという思いがあります。
――パーソナライズするということは、答えはひとつでなくても良いということでしょうか。
おっしゃる通りです。その人その人や状況に適した要約があると思います。そうしたケース全てについて見本の要約を作ることは不可能ですから、どのような場合にどういった要約を提供するべきかについて理解が必要です。教師なし要約の研究はそうした世界線に近づける研究のひとつだと考えています。
――たとえば大学入試などで文章を要約させる問題があったりするので、ひとつの文章に対する要約はほとんどひとつに決まっているようにイメージしがちです。そういう世界を超えて、読者の理解度にも合わせられるというようなことも考えていらっしゃるのですか。
入試問題の解答は一般大衆全体を対象に考えていると思いますが、本来であれば読み手によって解答は変わってくると思います。
大学入試の要約問題の解答は小学生には意味すら分からないと思うので、小学生にも分かるような要約を作ることも大事なことだと思います。それを自動要約で実現するには超えるべきハードルは山ほどありますが、実現につながるパズルピースをひとつでも世界に提供できたらいいなと思っています。
――要約というものの概念が広がりました。
そう言って頂けたら、うれしいです。
――本日はお時間を頂き、誠にありがとうございました。
インタビュー日：2022年1月5日
（文中の所属、役職名などはインタビュー日当時のものです）
インタビュアー：国立研究開発法人科学技術振興機構（JST）戦略研究推進部
Reference:
1. S. Brin and L. Page The anatomy of a large-scale hypertextual web search engine, Computer Networks 30, 107-117 (1998) https://doi.org/10.1016/S0169-7552(98)00110-X
ACT-Xの制度について詳しく知りたい方は、こちらの記事をご覧ください。
「あらためて、ACT-Xをご紹介します」