AIチャットボットは自動で賢くならない

チャットボットについて

AIの「チャットボット」は使えば使うほど自動で賢くなるものだと思っている人が多いと思われます。

一般的なチャットボットは、「チャット（＝会話）」と「ボット（＝自動化、ロボット）」を組み合わせたツールのことで、人の音声や入力した文章に対して自動で回答してくれるプログラムです。

チャットボットは確かに理論上はユーザーとの会話によって自動的に精度が高くなり、回答の正答率は向上します。

チャットボットは大きくはAI型とシナリオ型の2つに大別されますが、ここではAI型とシナリオ型のプログラムの違いやそれぞれのメリット、導入目的、開発工数などは割愛しています。

AIチャットボットは自動で賢くならない

チャットボットは人のように対話できるシステム、とざっくり定義することができると思います。ユーザーの質問やメッセージに対して自然言語処理をおこない、メッセージを送ったユーザーの意図を特定し、その意図と文脈に応じて処理と返答をおこなう方式が典型的な実装の1つです。

しかし、AIチャットボットは短期的には自動で賢くならないのが現実であり、その理由は2つあります。

一つ目の理由は、ユーザーのフィードバック結果の大半は学習に有用なデータではないということです。そもそもAIが学習するためには誰かが正解のデータを紐付けていく必要があります。

具体的にいえば、「PCが起動しなくなった」という質問が「パソコンの電源が入らない」という質問とが同じ意味であると、誰かが紐付ける必要があるということです。

それに対するフィードバックは、実際はチャットボットの回答後に参考になったかどうかを問うボタンから与えられ、
自動的な教育を受けているように見えるAIも根本的には人間の手動によるフィードバックによって行われているのです。

つまり、質問に対してユーザーが必ずしも正しい回答をするかどうかが不明確であるということであり、ユーザーのチャットボットの利用だけではAIの理解が深まることはないということです。

二つ目の理由は、精度が悪いAIチャットボットはデータが貯まるほど使ってもらえないということです。

AIの正答率が70%程度を超えるまでに蓄積が必要なデータ量、つまり「例文」は相当な量になると思われます。例えば質問に対する回答が300件あると仮定すると1件に対して少なくとも100件以上の類似質問文を紐付ける必要があります。

先ほどの例を挙げると「PCが起動しなくなった」という質問文に対しては以下の様に複数の類似質問文を紐づけて、例文を学習させる必要があります。

1.パソコンの電源が入らない
2.ノートPCの調子が悪い
3.パソコンが黒い画面でフリーズしたままだ
4.デスクトップの画面に青い英語が表示されて進めない

しかも、これを300件ある各FAQの1件1件に行っていくため、この例の場合は、最低でも約3万件ほどの質問文を用意して手動で紐付ける必要があります。このように、例文を学習させてAIの理解力を向上させるためには開発者の苦労が必要です。

以上の観点から多くの事例では、十分な量のデータを必要とするAIの学習が進む前に使われなくなったり、見当違いな回答を返したりするのを機に使われなくなるため、そもそも十分量のデータが集まりません。

AIだけでチャットの対応が完結するパターンというのは限界があり、だからこそ、AIチャットボットの導入には特別な工夫と人間の介入が必要です。

当社ではチャットボットにはどのようなAIが、どのように使われているのか？あるいはどんな会話データベースがあるのかなどを、知る機会や情報を提供しています。

これからチャットボット導入しようと考えている企業、あるいは現在利用しているチャットボットの変更を検討している企業のご担当者様は気になるところでしょう。