Data-oriented Approaches for Improving Neural Dialogue Generation
邦訳：ニューラル対話応答生成の性能向上のためのデータ駆動アプローチ
赤間怜奈
（東北大学 助教）
------------------ keyword ------------------
自然言語処理
深層学習
対話応答生成
----------------------------------------------
【背景】深層ニューラルネットワーク技術が高性能な応答生成モデルを実現
【問題】訓練データ改良を通してモデルのさらなる性能向上を図る
【貢献】訓練データの品質等を改善する方法論を提案，データ改良の有効性を実証
人間のことばを用いて，人間と同じように対話をする──このようなコンピュータの実現は，古くから考えられてきた人工知能応用の理想のひとつです．「自然言語処理」と呼ばれる私たちの研究分野では，人間が日常的に使っていることば（自然言語）を上手に扱うための計算機構の構築やそれを支える基礎技術の開発に取り組んでいます．人間のように対話するコンピュータ，いわゆる対話システムに関する研究も，当分野の主要な研究領域のひとつです．
自然言語処理における文生成技術は，機械学習とりわけ深層学習の台頭とその進展に伴い，急速な発展を遂げてきました．一般論として，深層ニューラルネットワークを用いた生成モデルがそのポテンシャルを十分に発揮するためには大規模かつ高品質な訓練データが不可欠であるということが，これまでの研究で明らかになっています．対話応答生成技術の研究領域でも，深層ニューラルネットワークを用いた応答生成モデルは，未知の対話に対する汎化能力や生成応答の流暢性を大きく向上させました．近年の研究では，対話応答生成技術のさらなる向上に向けて，より洗練されたネットワークの適応やモデルアーキテクチャの改良などが盛んに行われています．しかしながら，その一方で，訓練データの規模および品質の改善により応答生成技術の向上を図る方向性については，ほとんど議論が進んでいないのが現状です．
本論文では，深層ニューラルネットワークを用いた対話応答生成モデルの性能向上を，モデル構築のための訓練データの改良を通じて実現することに取り組みました．訓練データの高品質化および大規模化に着目してそのための方法論を複数確立し，実験を通して訓練データの改良が応答生成モデルの性能向上に貢献するということを経験的に示しました．本研究で確立した方法論のひとつは，大規模対話データを高品質化するデータフィルタリングのための方法論です．これまでの対話応答生成研究で頻繁に利用されている大規模な対話データには，低品質な，つまり対話として明らかに成立していないような発話と応答の連なり（発話ペア）が含まれていることを明らかにしたうえで，このような低品質な発話ペアを特定し訓練データから自動で除去するために，各発話ペアの「対話としての良さ」をスコアとして算出する方法論を考案しました．提案法によって獲得した大規模かつ高品質な対話データで訓練した応答生成モデルは，訓練データを改良しない場合に比べて，より良い品質の応答を生成しました．対話応答生成モデルの性能向上におけるデータ戦略の有効性を実証した本研究は，これからの深層ニューラルネットワークを用いた対話応答生成技術のさらなる発展に向けて，引き続きモデル自身の改良を進めていくことに加え，いかにして良い訓練データを効率良く獲得するかという問いについても積極的に議論していくことの重要性を示唆しています．
（2021年6月5日受付）
（2021年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月日：2021年3月
学位種別：博士（情報科学）
大学：東北大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文：（自然言語処理研究会）
本論文は，深層ニューラルネットワーク技術に基づく対話応答生成モデルに対し，訓練データの改良によって性能向上を図るデータ指向的な方法論の確立に取り組んでいる．従来のモデル指向的研究とは相対する立場から，対話応答生成技術の発展に繋がる新たな方向性を提示した点に，当該分野における大きな学術的貢献がある．
赤間怜奈
研究生活：「人工知能」という存在に興味をもったきっかけは，小学生のころに出会った児童書でした．そこで描かれていた（世界一の怪盗の友人，否，仕事上のパートナーである）人工知能は，人間のことばを流暢に扱い，人間のような感情と思考回路を持ち，そして人間よりも遥かに物知りで頭の回転が早い「知的な」存在でした．そんな人工知能に憧れを抱き，そのようなシステムが実現する未来を夢見て，自然言語処理の研究に従事しています．私が卒業後も大学で自然言語処理の研究者を続ける道を選んだのは，修士課程・博士課程で研究活動に明け暮れた日々がとにかく愉しかったから，という理由に尽きます．同じ学問に興味を持つ仲間に囲まれ，支えられ，思う存分自分の興味関心に向き合う．面白い発見や嬉しい成果があれば仲間とわいわい盛り上がる．そんな心地の良い充実した毎日でした．お世話になったすべての方にこの場をお借りしてお礼申し上げます．ありがとうございました．