Semantic Frame Knowledge Acquisition using Deep Language Models Fine-tuned on Lexical Resources
2023年度研究会推薦博士論文速報
［自然言語処理研究会］
山田 康輔
（（株）サイバーエージェント リサーチサイエンティスト）
邦訳：語彙資源で微調整された深層言語モデルを用いた意味フレーム知識獲得
■キーワード
自然言語処理／深層学習／知識獲得
【背景】意味フレーム知識は言語処理システムの知識源として役立つ
【問題】既存の意味フレーム知識リソースは品質やカバー率に限界がある
【貢献】より高品質でカバー率の高い意味フレーム知識リソースを構築する手法を提案した
人は特定の動作を行うとき，その動作に関する背景知識を持っており，その知識を現実世界の事物と照らし合わせることで動作を行っていると考えられます．たとえば，「シェフがオムライスを振る舞う」と「紳士のように振る舞う」という2つの動作について考えてみます．これらは，ともに「振る舞う」という動作を行っていますが，前者が「提供する」，後者が「行動する」という異なる意味であることが分かるでしょう．また，「シェフがオムライスを振る舞う」の「振る舞う」 において，明示的に示されていなくても”振る舞われる誰か”がいることを認識でき，「提供する」という意味の「振る舞う」では，”誰かが””誰かに””何らかの料理を”という要素が必要であることがわかります．このような語の背景知識をまとめたものが意味フレーム知識です．
意味フレーム知識は，言語処理システムにおいて，語に関する知識源としての活用できます．たとえば，ロボットへ特定の動作を言語で依頼する際に，意味フレーム知識を参照させて，その動作に必要な要素を教えることで，ロボットはより的確に動作を遂行することが可能となります．ただし，意味フレーム知識リソースは量や質に関して限りがあります．代表的なリソースの1つであるFrameNetでは，人手で構築されていることから質は高いのですが，構築コストがかかるため十分な量がありません．また，大量のテキスト集合から獲得された格フレームでは，語彙のカバー率など量は十分なのですが，構築手法の性能が高くないため，十分な質とはいえません．そこで，本研究では，大量のテキスト集合から高品質な意味フレーム知識を自動で獲得する手法を確立するために主に2つのタスクに取り組みました．
1つ目は，テキスト中の動詞を同じ意味のものでまとめることを目標とした動詞の意味フレーム推定です．このタスクでは，同じ表層で異なる意味の動詞を分け，異なる表層だが同じ意味の動詞をまとめる必要があります．ここでは，動詞の表層情報を用いず，周囲の文脈のみを考慮する方法と，同じ表層で意味の異なる動詞を分けた後に，異なる表層間で同じ意味の動詞をまとめる方法を合わせた手法を提案し，この手法が高い性能を示すことを実証しました．
2つ目は，動詞の表す事柄に必要な要素を獲得することを目標としたフレーム要素知識獲得です．このタスクでは，まず，その事柄に必要な要素を特定し，その後，同じことを意味する要素をまとめる必要があります．ここでは，後者の要素を意味ごとにまとめるサブタスクにおいて，深層距離学習という要素間の距離を適切に学習する手法を用いることで，高い性能を示す手法を提案し，その有用性を実証しました．
これらの取り組みを通して，言語を学習したモデルの言語運用能力を測るとともに，言語処理システムへの知識源となるような語彙資源を構築しました．本研究が，近年注目を集めている自然言語処理分野において，モデルがどの程度言葉の意味を捉えているか，言語処理システムに語彙資源が有用であるのかを議論する研究の1つになることを願っています．
■Webサイト／動画／アプリなどのURL
https://sites.google.com/view/kosuke-yamada
（2024年6月1日受付）
（2024年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月：2024年3月
学位種別：博士 (情報学)
大学：名古屋大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文［メディア知能情報領域］自然言語処理研究会
この研究はディープラーニングの技術を使い，ことばのデータから意味を形作ることばの構造を自動的に見つけ出す方法に取り組んだものです．主語・述語・目的語などの要素の組み合わせた構造により表される多様な意味を整理し，コンピュータによることばの理解をより正確に行うための重要な基礎研究と言えるでしょう．
研究生活 学部3年生時に行われた研究室紹介まで「自然言語処理」という言葉すら聞いたことがなかった学生でしたが，そのときに感じたワクワク感でこれまで研究活動をしてきました．配属当初は博士後期課程に進学する気持ちはまったくなく，自信もまったくなかったですが，逆にそれによって自分にプレッシャーをかけすぎずに，楽しく研究することができたと思います．
学生の間の研究活動は，自分が取り組みたいテーマで自分がプロジェクトリーダーになれる貴重な経験ができる場で，もちろん自分1人で考え尽くして成功を目指してもよいですし，いろんな人を巻き込んで成功を目指してもよいと思います．また，学生は研究活動に限らず，自分なりにやってみたいことを何でも挑戦できる期間だと思います．あらゆるわがままが許される期間なので，ぜひいろんなことにチャレンジしながら，研究活動を楽しんでもらえたらと思います．