AIに言葉の意味は分かるか？日経サイエンス2021年2月号

今回も日経サイエンスからです。今回のテーマはAIによる言語処理です。近年、AIによる言語処理を日常生活で見かける事が増えてきました。チャットなどに不明点を書けば回答してくれる問い合わせ方法など見た事あるのではないでしょうか？

最近のAIはどんな感じなのか？？

最近のAIは「ヒトから共感を獲得する文章を書ける」というレベルに達しています。

2020年10月英語圏で人気の投稿サイト「Reddit」でこんなことがありました。過去に自殺を試みた人に対して「私を最も助けてくれたのは、おそらく両親だと思います（略）人生で何度も自殺したいと思った事がありましたが、両親のおかげで自殺はしませんでした」という書き込みがあり、この投稿はユーザーから150件の「いいね！」を獲得しました。が、実はこの投稿AIによるものだったのです。人から「いいね！」を貰えるなんてすごい能力だと思いませんか？

AIはどのレベルまで達しているのか？

文章の読解に関しては人間のレベルを超えています。

アメリカスタンフォード大学が開発した読解力の評価方法として「SQuAD」というものがあります。これはWikipediaから取得した文章を用いて、その内容に関する質問を回答するというものです。人間の正答率は82.3%だが、グーグルが2018年に開発したBERTの場合87.4%となっています。既に読解力に関しては人間を上回っています。

AIがどうやってそれを出来るようになったのか

近年のAI読解力は高まってきましたが、どのように学習してきたのでしょうか。

1990年代までは我々人間と同じように「文法」に則った学習が主流でしたが、なかなか実用に至りませんでした。時代が進み膨大なデータが扱えるようになり「統計的言語処理」という手法が使われるようになりました。更にその後、統計的言語処理は「ディープラーニング」に取って代わられました。ディープラーニングの時代では、機械は”ベクトル”として単語の意味を理解していました。

ベクトルとして理解する事で、単語の意味を分解することができます。例えばパリ、東京、日本、フランスであれば、「パリ＝東京－日本＋フランス」というものです。この場合、国という基本ベクトル、首都という基本ベクトルから成り立つと言えます。これは簡単な例ですが、実際の機械学習では、一つの単語に数百の成分を持たしているようです。

その後、大きな変化が現れました。「トランスフォーマー」の出現です。トランスフォーマーは2017年GoogleのAI研究者らによって提案されました。この技術のポイントはAttentionという機能です。ここがポイントなのですが、実は消化不良です・・・。説明にはこうあります。

人は何かを見ているとき、全ての部分に同じように注意を払っている訳ではない。部分どうしのつながりや、特に重要な部分に注目することで、画像や文章を効率よく把握している。

このようにAttentionとは今までのようにすべての語句を総当たりで訳すのではなく、単語同士の関連の強さや注目ポイントを絞る。こうすることで多義語の扱いの精度が上がったり、「彼」とか「それ」と言った代名詞が指す内容を上手く対応付ける事ができるようになりました。

要するに我々が使うような自然な文章を生成することができ、ヒトから共感を得るような文章をつくれるようにったのです。

AIが未だできないこと

ここまで見ると機械の発達は著しいのですが、実は「文化的、社会的な作法」を守る事は機械には難しいようです。

例えば機械は以下のような文章の意味合いが理解できません。あるAさんとBさんがいるとします。BさんはAさんの家に招待されました。Bさんが思わず「この部屋暑いですね」と言いました。あなたがもしＡさんなら「冷房つけなきゃ！」と思いますよね。しかし、機械はそのように考える事ができません。「そうですね」と返して終わりです。

社会的・文化的な背景で意味がどのように伝わるか、どのように解釈するかということは「語用論」と呼ばれますが、このような領域では機械はまだお手上げ状態です。文字通り「字面」しか理解する事ができません。

加えて人間であれば、「リンゴ」というと、甘い、赤い、丸い、畑、スティーブジョブス（！？）、みたいな概念を創造する事ができます。しかし、機械はあくまでも「意味同士の近さ」を数値として理解するにとどまります。

背景や意味合い、想起する他の概念、そういうことはまだ難しそうです。

最後に、人間に置き換えると・・・

思えば、背景や意味合いを理解する事が難しいのは、人間でも同じですよね。文化的、社会的なやりとりを獲得するには長い時間をかけた「教育」が必要です。上司に褒められて謙遜せずに露骨に喜ぶと、常識がないと思われる事があります。お笑いで言えば、押すなよ！押すなよ！と言われて「ふりだな！」と思うのと同じですよね　笑。これは長い時間をかけて学ぶものだと思います。

しかし、一つの文化や社会でのコンテクストを学びすぎた結果、「過学習」になるのかもしれません。即ち、或る社会では上手くやっていけるが、他の社会ではやっていけないということです。独特の表現や作法、意味合いがつよすぎてさっぱりやっていけない、という事ですね。もしかすると、今後の機械も学習し過ぎると汎用性を失ったりするのかも知れません。過学習を起こして特定の文化に溶け込むのが幸せか、汎用性をもって色々な文化に軽く触れていくのが幸せか、意外と難しい問題です。

今回の記事、いかがだったでしょうか。今回はAIや機械学習といった専門外領域だったので上手く面白さが伝わっているか不安ですが楽しんでもらえると幸いです。では、また次回！