集計作業のお悩みをAIで解決／第5話「機械学習の活用例」

前回までは自由回答のアフターコーディングをテーマにAIの手法、効率的な集計方法をお伝えしてきました。最終回となる今回は、アフターコーディング以外にも、現在マクロミルで検証・検討を進めている自由回答データ×AIでできることの例をいくつかご紹介していきます。

１．不真面目回答の検知

アンケートにおいて自由回答形式で質問すると、質問とは関係のない回答や意味のない回答が書かれてしまうことがあります。分かりやすく質問したり、質問の数が多く回答に疲れて適当な回答をしないよう質問の数に配慮したりといった工夫も必要ですが、それでも一定数そのような回答は発生してしまいます。

マクロミルでは短時間でアンケート回答を終えている回答者や、禁止文字を含む回答をしたサンプルを削除する、定期的にモニターの回答精度を確認するアンケートを配信するなど、不正回答を防ぐための取り組みを行っていますが、それでも入ってきてしまう不真面目な回答、意図にそぐわない回答の検知精度をより高めるため、今後AIを活用したチェックの導入を検討しています。

ここでは、第3話 でご紹介した教師あり学習の仕組みを使い、不正回答を検知するモデルについてご紹介します。
過去に回収した自由回答データに対し、まずは人の目で不正、不真面目と判定した回答は「1」、問題のない回答は「0」と番号を入れたモデルを準備します。※マクロミルのモデルは、過去の調査から約100万回答分の回答データを蓄積。

上記のようなデータを教師データとして登録しておき、新しく実施したデータで判定を掛けると、1つ1つ人の目で回答内容を確認せずとも除外したい不正回答をすぐにあぶり出すことができます。

２．ポジティブ・ネガティブ意見の分類

アンケートの自由回答の質問において、下記のような質問は好意的な意見と否定的な意見、またどちらとも言えない中立的な意見が書かれることがあります。アフターコーディングなどで細かく意見を分類する前に、ポジティブ・ネガティブの自動判定を掛けることにより、質問した対象について全体的に結果が良かったのか悪かったのかを大まかに把握することができます。

この判定についても、不正回答の検知と同じ教師あり学習の仕組みを使っています。過去の回答データからポジティブ、ネガティブ、ニュートラルの判定をつけたデータを教師データとして登録しておくことで、新たに取得したデータをAIによって素早くポジネガの判定をすることができます。

また、回答が長文になると1人の回答にポジティブとネガティブが混在するような下記のようなケースがあります。このような場合は句読点などで文章を分解し、1文ごとに分けた文章それぞれで判定を行うことで文章全体を考慮した判定ができるようになります。

３．チャットボットの作成

検索や問い合わせなどで広く活用されており、様々なWebサイトやSNS等で目にすることがあるチャットボットですが、このチャットボットも教師データを準備しAIの手法と組み合わせることで、チャットボットの仕組みを作ることができます。

下記はマクロミルの集計ソフトQuickCrossの操作案内ページFAQのチャットボットです。行いたい操作を入力すると、操作のページのURLを返すことができます。また、チャットボットによって返ってきた答えが意図と異なる結果だった場合、予測点数の近い他の質問の候補を出すこともできます。

▼チャットボットの作成例
「[他の質問の候補]（ここをクリック）」を押すと、入力した質問に類似した質問内容の候補を出します

※QuickCrossの操作手順はこちらに掲載しています。
※チャットボットは近日公開予定です。

４．おわりに

ここまで、マクロミルでの自由回答×AIの活用事例をご紹介してまいりました。5回にわたる連載にお付き合いいただきありがとうございました。ご覧いただいた皆様のお悩みに当てはまるものはありましたでしょうか？

自由回答式の回答データは、選択式の質問と比べて集計・分析に手間がかかるものの質問する側の思ってもみなかった発見や、興味深い傾向を見つけることができるため、消費者や顧客、従業員の声を生かしたサービスや商品づくりには欠かせないデータと考えています。

マクロミルでは、今後もこの集計・分析の手間を軽減させ、自由回答データをよりマーケティングに活用いただきやすくするための取り組みを進めていきます。今回ご紹介した取り組みも、近く皆様に気軽にお使い頂けるようなサービス化に向けて進めておりますのでぜひご期待ください。

【筆者紹介】

【全５話 連載】集計作業のお悩みをAIで解決