Shopify プロダクトマネージャーによる対話型UX構築のポイント
Shopify のシニアプロダクトマネージャーによる対話型 UX 構築のポイントが、とても良かったので紹介します。 2018 年の動画ですが、 ChatGPT をはじめとした生成系 AI 全盛の時代に再び刺さる内容になっていると思います。動画はこちらから見られます。
ちなみに、スピーカーである Ellen Dunne さんは、今では Director of Product に昇進されています。ただ、動画で紹介されていたマーケティング支援ボットである Kit (多分)は 2021 年にサービス終了しています。理由として複雑なマーケティング業務を支援できるだけの対応力にするにはコストが見合わなかったからでは、という推測があります。 ChatGPT がリリースされたのが 2022 年末なので、あと 1 年違ったら・・・とも感じます。
Kit の紹介記事
Kit のシャットダウンについての記事
現在 ChatGPT を利用した機能が様々開発されていますが、 Kit の例からみるに数年後にはシャットダウンするものも出てくると思います。動画の中で語られているノウハウはとても的を得たものと感じているので、作成する前に押さえておく価値があると思います。
対話型 UX を構築する時の 7 つの方針
動画の中で紹介されている 7 つの方針を紹介します。
1.Keep it simple
対話のゴールを 1 つにすること。複数の目的を達成できる UI より、一つの目的に特化していた方が扱いやすい。 2018 年当時 Facebook のメッセンジャーには 10 万のボットがいましたが要求の完了率は 70% 程度。それだけ対話の完了は難しいことですから、一つに絞るべきということです。データの出典は多分以下のブログです。少しデータが古いので、いまはもうすこしいいかもしれません。
2.Respect the medium
対話よりも効率的な手段があるならそれを選ぶこと。ユーザーの入力が必要最小限になること。例えば、送金などはアプリを開いて額を入力して相手先を選択して・・・とやるより、チャットで金額、相手先をいったら対応してくれるなら楽になります。
3.Be proactive
提案型であること。ボットから提案すればユーザーはYes/Noを回答するだけで済みます。
4.Context is key
ユーザーや過去の会話を活用すること。人間でもそうですが、過去言ったことを覚えていないのは信頼の喪失につながります。ユーザー属性や会話などから的を得た提案をできるようにします。
5.Obsess about language
言葉遣いに気を使うこと。適切なトーンや言語を選び、ボットのパーソナリティに沿った一貫した応答をすべきです。
6.Don't pretend your bot is human
人間を演じないこと。プログラム、あるいは機械学習モデルで作られたボットは人間に期待される振る舞いすべてを実行できない限界を認識し、限界を超えた場合は人間にエスカレーションするよう設計する。
7.Build in a feedback loop
フィードバックを得ること。ボットの提案が否定された場合、その理由を聞くことで提案やサービスの改善につなげることができます。 Shopify では自然言語処理を用い 70% に上る未完了の対話を 10 のケースに分類していました。
対話型UX 5 つの構成要素
対話型 UX はフローチャートなどで対話のシナリオを表現することで体験をデザインします。ユーザーがボットとエンゲージし会話を終了するまでに、主に以下 5 つの要素があります。
1.Welcome message
ユーザーとボットの接点となるメッセージです。ユーザーにどのように話しかけるのか、話しかけられたときになんと応答するのかを決めます。
2.Feel like real conversation
自然な対話行為です。 7 つの方針に沿った返答の設計を行います。テクニックとして、 Fake delay を入れる方法が紹介されていました。 Chat GPT では一気に返答が出ずタイピングするよう少しずつ出てきますがそのような演出です。人間同士の会話で相手が一瞬で返答することはないですし、情報処理の時間を稼ぐ点でも有用です。
3.Verified responses
わからない場合、確信が持てない場合の確認方法です。相手に確認のコストをかける反面、タスクの成功率を上げることができます。
4.Graceful ending and exit scenario
優雅に対話を終了させる方法です。次のメトリクスで言及しますが、ボットの評価を行うために対話の終了点を明確にする必要があります。
5.Have a "catch all" state
想定しない状況に陥った時の対処方法です。"Oops! let's try again" などは代表的な例です。
対話型UX の評価
対話型 UX は次のようなメトリクスで評価できます。
Response rate: ボットのメッセージに対しユーザーが反応した割合
Ignore rate: ( Response rate の逆 )
Withdraw rate: 対話状態に入った後離脱した割合
Completion rate: ユーザーが目的達成できた割合
Rejection rate: ユーザーが提案に No を回答した割合
上記のメトリクスを計測するには、メッセージや対話の境界を識別する定義が必要です。たとえば、ボットからの連続したメッセージを 1 つとみなすか否か、ボットとユーザー間で 1 回ずつメッセージを出したら対話とみなすか、などです。
生成系 AI 時代の対話型 UX デザイン
ChatGPT のような高精度の生成系 AI が登場したことで、7 つの方針、 5 つの構成要素は満たしやすくなったと感じます。たとえば、 事前学習した知識により Be proactive になること、プロンプトにより Context is key / Obsess about language を実現すること、また Feel like real conversation は特に生成系 AI が力を発揮する点です。一方で、 Build in a feedback loop 、そして評価メトリクスの計測労力は変わらないと考えています。
ユーザーに合わせて提案をカスタマイズしていくには対話データの蓄積が必要であり、蓄積したデータを評価するにはメッセージや対話の境界を定義し定量的な計測を行う必要があります。「データを蓄積することで対話の質が向上し、対話の質が向上するからユーザーが増えデータが増える。増えたデータでさらに対話の質が向上する」という機械学習の勝ちパターンについては対話型UX、生成系 AI であっても変わらないと感じました。機械学習の勝ちパターンについては、次のワークショップで詳しく解説しているので関心あればご参照ください (⭐を頂ければ励みになります！)。
おわりに
今さらですが AWS の機械学習領域の Developer Relations としてプロダクトで機械学習が活用できるようになるための情報を発信しています。感心ある方はプロダクト筋トレの「#9_機械学習活用」チャンネルにもおりますのでぜひお越しください。毎週雑談会をしており機械学習の話題をあれこれ話しております！
この記事が気に入ったらサポートをしてみませんか？