NLP2024＠神戸 参加レポート！
こんにちは。AISCの山内です。
AISCでは、学会参加を積極的に推奨しています。
今回は、自然言語処理の動向をキャッチアップすべく、山内がNLP2024に参加してきました！
過去に開催された別の学会についても、AISCメンバーが参加レポートを執筆しているので、そちらも合わせてご確認ください！
NLP2024とは
NLPは言語処理学会年次大会のことです。
自然言語処理をテーマとして、様々な学術発表がなされます。
例えば、近年注目を集めているLLM(大規模言語モデル)も、自然言語処理の文脈から誕生したモデルになります。
今年は合計して約600に及ぶ発表がなされ、本会議の参加者も2000人を超えていたそうです。
第30回となるNLP2024は、2024年3月11日から3月15日の5日間に渡り開催されました。
開催場所は神戸国際会議場です。
NLP2024の様子
私は、5日間フルに参加させていただきました！(会社に感謝)
初日
まず、初日のチュートリアルセッションに参加したのですが、人の多さに驚きました。
どれくらい人が多かったかというと、メインの講演会場は満員で入れず、サテライト会場もほぼ埋まりかけといった状態でした。
私が参加したチュートリアルの内容は、東工大の岡崎先生による「自然言語の基礎」でした。本チュートリアルに参加することで、自然言語研究の歴史を、コンピューターの誕生から現在使用されているtransformerまで時系列で辿ることができました。また、transformerの仕組みに関してもわかりやすく講義してくださったので、非常に勉強になりました。
2日目 ~ 4日目
2日目 ~ 4日目は様々な発表を聞いて回りました。
全体として、LLM関連の発表が非常に多いなという印象でした。
また、LLMそのものを深掘りする研究だけでなく、LLMの活用方法を提案する研究も多かったです。セッションのタイトルがLLM関連でなくても、手法の一部にLLMが使用されている研究発表も多々ありました。
一方で、BERTを活用している研究発表も多々あり、LLMの活用が増えているとはいえ、まだまだBERTも強いなぁと感じました。
幾つか興味深かった研究を紹介します。
一つ目は、「市況コメント生成のための少数事例選択」です。
こちらは、株価の値動きから、その市況を表現するコメントを生成するという、Data to Textのタスクに取り組む研究です。
ベースはfew-shot-learningなのですが、プロンプトに与える類似事例を工夫して選ぶことにより、精度を向上させていました。類似事例として、系列が似ているデータや、同じ時刻のデータを使用するというのは、直感的にもわかりやすく、非常に勉強になるサンプリング方法でした。
二つ目は、「Beige Book のセンチメントとマクロ経済データを用いた米国金利変動予測」です。
まず初めにBeige Bookについてざっくり説明すると、米国の経済状況が記された文書データのことだそうです。
この研究では、マクロ経済データだけでなく、Beige Bookの文書データも使用することで米国金利変動予測タスクの精度を向上させていました。
文書という自然言語データを説明変数に使用するために、FinBERT(金融領域に特化したBERT)を用いて文書データのセンチメントスコアを算出しているところが非常に面白いなと感じました。
5日目
5日目は、自治体における生成AI（ChatGPT）の利活用と問題点というワークショップに参加しました。
このワークショップでは、兵庫県の各自治体の方々が、生成AIの活用についての発表をしてくださりました。
自治体の方がNLPで発表するのは、前例がない取り組みだったそうです。そういった貴重なワークショップに参加させていただけるのは非常に良い体験でした。
個人的に面白かったのは、神戸市の実践事例紹介です。
LLMの活用先が、自治体特有のタスクであるため、初めてみる活用例が多く、非常に興味深かったです。
例えば、条例に対しRAGを使用することで条例間の矛盾を検知するといった取り組みは非常に興味を惹かれました。
RAGは、LLMに情報検索の仕組みを掛け合わせた手法です。
例えば、ChatGPTに対して直接条例の質問をしても、おそらくうまく答えることができないと思います。
しかし、質問と関連する条例を検索し、質問と一緒に条例のデータをChatGPTに渡せれば、より質が高い回答が得られることが期待できます。
このように、質問に関係があるデータを検索し、質問と一緒にLLMに入力するのが、RAGという手法になります。
このRAGを条例という文書に対し適用している点が、特別感があって非常に面白かったです。
さいごに
今回は、NLP2024の参加レポートをお送りしました！
私自身、初めてのNLP参加であったり、そもそも出張が初めてだったりで、非常に新鮮な体験をさせていただけたなと思います。
また、今がまさにLLM研究が活発で熱い時期なのかなと思います。そんな時期にNLPに参加できて、勢いや熱量を直接感じるということも、まさに今しかできない貴重な経験だったのかなと思います。
冒頭でも触れましたが、AISCでは学会への参加を積極的に推奨しています。
今後も別のメンバーが学会参加した際には記事を執筆しますので、そちらについてもご一読いただけますと幸いです。
この記事が気に入ったらサポートをしてみませんか？