Exploring Cognitive Plausibility of Neural NLP Models: Cross-Linguistic and Discourse-Level Studies

2021年度研究会推薦博士論文速報
［自然言語処理研究会］

栗林 樹生
（東北大学 研究員）

邦訳：ニューラル自然言語処理モデルの認知的妥当性: 言語横断的分析と談話処理

■キーワード
自然言語処理／計算心理言語学／深層学習

【背景】ことばを処理する人工知能の性能が著しく向上
【問題】人工知能の言語処理が人間に近づいているのか
【貢献】両者の乖離を明確化し，その原因を探求

　機械に人間のことば （自然言語） を処理させる自然言語処理分野の進展は近年著しい．たとえば人間のように流暢な文章を自動生成することが可能になってきた．本研究では，近年進展した人工知能の言語処理と，人間の言語処理を対比させることで，自然言語処理分野のみならず，言語学や心理学といった周辺基礎分野に新たな知見を還元することを狙っている．

　たとえば，本研究の先で答えたい問いは，「どのような計算によって人間の言語処理が実現されているのか」といったものである．認知科学や心理言語学分野では，人間の読み活動（視線移動や脳活動）を計測し，コンピュータでモデリング・再現することでその仕組みを説明しようとしてきた．このようなモデリングを行うには，ことばの意味や特徴をコンピュータで扱いやすい形式で定量化しておく必要がある（たとえば「甘い」という単語の特徴をコンピュータに直接教えるのは難しい）．本研究では，そのような定量化に言語処理分野の大規模言語モデルを用い，人間の言語処理について数理的なモデリングを行った．具体的には，人間が文を読んでいる最中の「先読み」について，さまざまな言語モデルが計算する単語の予測確率と人間の読み活動を比較し，工学的に高性能な言語モデルで必ずしも人間をうまく説明できないことや，得られる観察の言語依存性などを明らかにした．

　また，人工知能と人間の対照という試みは，「人間特有の言語能力」についても示唆を与え得る．人間の「特有さ」を語る上では比較対象が必要であり，典型的には他の動物が引き合いに出されるだろう．本研究では，そのような比較対象として人工知能・自然言語処理システムを活用しているという見方もできる．言語処理システムを比較対象として持ち込む主な利点は，システムの内部を直接制御しながら人間と比較できる（直接観察できない人間の内部についても手がかりが得られるかもしれない）ことや，生物を扱った場合には非現実的な検証（たとえばWeb 上の莫大なテキストをただひたすら覚えてもらうと人間らしくなるのか）が実現できることである．このような視点のもと，本研究の後半では人間の談話処理（文章の処理）について示唆を与えている．言語処理システムの一部を制御して人間の談話処理理論に従う／従わないシステムを作成し，理論に従うシステムがより人間らしい談話解析を実現することから，間接的ではあるが理論に対して概念実証的な支持を与えている．

　最後に，本研究はやや探索的に行った自身の研究$${^{1）〜5）}}$$を，計算心理言語学的な視点から位置づけ直したものである．自然言語処理分野と心理言語学といった周辺基礎分野を繋ぐ学際的な探求は限定的であり，本研究では，多言語を対象にする方向や，複数文からなる談話の処理を対象とする方向に焦点を拡大している．また，人間の言語能力という語りづらいものを扱う以上，方法論や何をどこまで「分かった」と言ってよいのかについて，多くの考え方・議論があると考える．そのような議論の余地も含め，本研究を通して，多角的な関心が自然言語処理に寄せられるきっかけになれば幸いである．

■Webサイト／動画／アプリなどのURL
https://kuribayashi4.github.io/

参考文献
1）Kuribayashi, T., Ouchi, H., Inoue, N., Reisert, P., Miyoshi, T., Suzuki, J. and Inui, K. : An Empirical Study of Span Representations in Argumentation Structure Parsing, In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL-2019), pp.4691-4698 (2019/07).
2）栗林樹生，大内啓樹，井之上直也，鈴木　潤，Paul Reisert，三好利昇，乾健太郎：論述構造解析におけるスパン分散表現，自然言語処理（domestic journal）， Vol. 27, Number 4, pp.753-780 (2020/12).
3）Kuribayashi, T., Ito, T., Suzuki, J. and Inui, K. : Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese, In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020), pp.6452-6459 (2020/07).
4）Kuribayashi, T., Oseki, Y., Ito, T., Yoshida, R., Asahara, M. and Inui, K. : Lower Perplexity is Not Always Human-Like, In proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACLIJCNLP 2021), pp.5203-5217 (2021/08).
5）Kuribayashi, T., Oseki, Y., Brassard, A. and Inui, K. : Context Limitations Make Neural Language Models More Human-Like, arXiv (2022/05).

（2022年5月31日受付）
（2022年8月15日note公開）

ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
　取得年月日：2022年3月
　学位種別：博士（情報科学）
　大学：東北大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー

推薦文［メディア知能情報領域］自然言語処理研究会
コンピュータが人間と同じようにことばを捉えているのか？という問いに対して，この研究ではコンピュータが深層学習を使ってことばを扱うときの特性を詳細に分析して人間とコンピュータで似ているところ，異なるところを明らかにしました．人間と同じようにことばを扱えるコンピュータの実現に向けたとても重要な研究です．

研究生活　　日本語や英語などの人間のことばを機械に処理・理解させる分野が，自然言語処理分野です．「処理・理解とは何か？」「何が達成されたらゴールなのか？」など，そもそも答えるべき問題が自明でなく，「何を問うか」自体が大きな問いでした．自分はというと，心惹かれる対象は漠然とあるものの，何を問いたいかを明確に言語化し，興味を学問の大きな流れに位置づけることに苦労しました．したがって私の博士課程は，「これはきっと面白い」というある種の直観を信じて，がむしゃらに小さな研究のサイクルを回しつつ，「つまり大きな意味で自分は何を知りたいのか」をゆっくり鮮明にしていく日々でした．自身の興味に従って自由に研究に向き合うことを容認いただいた，指導教員の先生方や，研究室のメンバ，またともに議論・研究いただいた学外の先生方に深く感謝申し上げます．