第11回Language&Robotics研究会聴講(2023年1月19日)

YANO Tomoaki@

2023年1月21日 07:00

はじめに

第10回Language&Robotics研究会が充実していたので、今回も時間があったこともあり、聴講を申し込んだ。
今回は、
AIに、「なぜ、そのような回答をしたか」説明してもらう話。

動画が公開されました

説明生成NLPの最前線〜Lang&Roboとの接点を添えて〜

講演者：井之上直也先生 (JAIST)

発表タイトル：説明生成NLPの最前線〜Lang&Roboとの接点を添えて〜
概要：近年、大規模事前学習済み言語モデルの登場により、自然言語処理モデルの予測能力、及び生成能力が飛躍的に向上した。また、こうした成果を利用して、言語生成により予測に至る推論過程を論理的に説明しようとする試み (説明生成NLP) も進展を見せている。本発表では、説明可能性、ショートカット推論といった永らく取り組まれてきた関連分野とともに、説明生成NLPの最新の展開を俯瞰・整理する。また、講演者の関連する取り組みを紹介し、ロボティクス分野との接点についても議論する。

12:15 - 12:25オープニング

ホストの品川先生から、Language&Robotics研究会設立の経緯と、設立に関連する論文Survey on frontiers of language and roboticsの紹介があった。

NLP2023の紹介があった。

井之上直也先生の紹介があり、講演が始まった。

12:25 - 13:10講演（45分）

講演で使用するスライドを同時にアップしていただきました。
講義内容が詳細に記載されているので、講義内容については、本スライドを読んでいただければいいと思います

説明の重要性

説明可能性とは、「AIが提案した予測の説明能力」を指し、これにより
1．信頼が得られる
2．提案した予測がおかしかった場合、その原因を（説明から）特定し、修正することが可能

説明AIの３分類

1．Scope　本文中に根拠を見いだすのか、幅広い知識に根拠を見いだすのか
2．Mode　直接、対抗馬との比較、入力変更に対する予測感度
3．Format　ハイライト、if-then、訓練事例、自然言語

望ましい説明

1．Faithful
2．わかりやすさ
3．納得しやすさ
4．ぶれない説明

説明の作成順番

1．AIの予測の説明を、別のAIが(もしくは同じAIでも、結果から）作成する
　推論と説明が切り離されている。人間で言うところの、他人が発言した理由を私が推測し、第3者に伝えるイメージ
2．予測と同時に説明を作成する

ChatGPTは説明できるのか？

３つの例(うまく行く、怪しい、ダメ）を示す。

構文はよくできている
(前文)　→　その結果、　→　（結論）

前提となる情報に不正確な内容が入り込む
説明後に、内容評価を追加すれば、十分使いものになるレベル

説明AIの今後の方向

・内容評価AI
・誤りデータベースの修正
・事実と異なる出力の原因トレース
・説明(論理的な思考の積み上げ）後に本文出力

説明AIとロボット

ロボットが、これから行う行動の理由を（相手が欲している場合に限り、くどくないレベルで）説明することにより、使用者の信頼を得る

人間が説明を求める理由
１．行動の理由を知りたい、コミュニケーションを改善したい
２．ロボットの内部状態の提示のみでは不十分
３．説明生成は、今後のコミュニケーションロボットには必須

13:10 - 13:25QA（15分）

質疑応答の時間に入り、時間の許す限り回答されていた

GPT-Index

1月16日に公表されたばかりのGPT-Indexについて質問が出た。
これだから最先端分野は怖い。
井之上先生、「まだGPT-Index使ったことはないのですが・・」そりゃそうだ。
しかし、発表されて1日で「やってみた」が私のTLには大量に流れてくるのがおそろしいところ

(追記)2023年1月20日には、こんなつぶやきが！

これはすごい👏！世界初となる対話型検索エンジン、Perplexity Ask（ @perplexity_ai ）が登場です。答えの根拠として最新情報を参照＋対話形式で追加質問ができる。日本語にも対応してますのでぜひ！pic.twitter.com/4bUQ12Yr22
— sangmin.eth @ChoimiraiSchool (@gijigae) January 20, 2023

13:25 - 13:30クロージング

次回の案内があり、閉会となった。

おわりに

説明の重要性と説明の考察は、「人間が行う説明」にそっくりそのまま当てはまると思った。国会質疑や政治家の受け答え、裁判における大企業など資金力のある側の詭弁など、AIがビシビシ指摘してくれると、世の中少しは良くなるのかな

本noteは私の備忘録ですが、自由に読んでくださいサポートは、興味を持ったnote投稿の購読に使用させていただきます