この機能、顧客にとって使いやすいの？利用実績や売上以外から測定するSaaS機能の価値【SaaSビジネス経験談 ＃17】
シナジーマーケティングのプロダクト「Synergy!❐」に関わるさまざまな職種のメンバーが、自身の経験を元に、ビジネスに役立つ情報をお送りします。今回はSaaSサービスのユーザビリティの評価について試行錯誤した話をご紹介します。
私たちはSynergy!を提供して19年目です。この長い間にさまざまな機能をリリースし、お客様が使いやすいサービスを目指してきました。弊社ではここ数年でシステム開発時にUXデザイナーが顧客体験を設計し、UIを作っていくプロセスも当たり前になっています。
Synergy!は競合サービスと比較して「使いやすい」ことをセールスポイントとし、長年お客様にご案内してきました。実際にお客様からも「使いやすい」とコメントいただくことが多くあるのですが、どれくらい使いやすいのかを定量評価することはできていませんでした。
本当に「使いやすい」システムなのか、売上や利用数以外で評価する方法はないのか……？と新たな評価指標を模索し、実際に評価・施策実行をしてみた話です。
SaaSサービスそのものが本当に使いやすいものになっているのか？ということにお悩みのみな様、ぜひ一度ご覧ください。
1. SaaSサービスの機能評価の課題
私たちは、Synergy!の「使いやすさ」を定量的に評価できるものがないかを色々模索していました。
BtoB SaaS で指標を調べてみても「MRR (Monthly Recurring Revenue) = 月間定額収益」「ARR (Annual Recurring Revenue) = 年間定額収益」「Churn Rate（解約率）」などの指標は出てくるのですが、それより細かい指標は見つけられず...…
NPSや顧客満足調査は定量化には向いていそうだけれど、Synergy!というプロダクト単体の使いやすさというよりは営業やサポート対応などを包括した評価になりそう...…
色々と調べていくとSUS（System Usability Scale）を利用すれば、「使いやすさ」を数値で評価が可能らしいということにたどり着きました。半信半疑ながら、まずは試してみようと運用してみました。
2. SUSアンケートとは
SUSとは以下のような背景・測定ルールのアンケートです。
・ジョン・ブルックにより1986年に開発
・当時は文字ベースのPCの評価に使用
・その後携帯電話やハードウェア、IVRなどの評価軸としても活躍
・ユーザビリティの受け止められ方を測定&指標化したもの
・10の質問に対して5段階で評価
・最終的に0 - 100 でスコアリング（68点以上がOkay）
・質問のテンプレートが公開されている（フォーマットが決まっている）
・幅広いユーザーから聞くことができる
より詳しくは以下のサイトをご覧ください。
3. 試しにフォーム機能でやってみた
Synergy!の開発チームは、主要な機能ごとに存在しています。その主要な機能とはデータベース／フォーム／メッセージング（メールやアプリプッシュなど）の3つです。Synergy!全体で調査をしても結果がぼやけてしまうことが考えられるため、SUSアンケートは各チームごとに実施することにしました。
まずはフォーム機能で実施しました。
前述の通りSUSアンケートは設問が決まっていますので、テンプレートをSynergy!向けに調整しつつ、簡単な属性情報や自由記述欄を追加しました。
▼設問
・基本情報＋属性情報
・アカウントID
・利用頻度
└ほとんど触らない
└月に数回程度
└週1〜3日程度
└ほぼ毎日
・役割
└Synergy!を直接操作している（オペレーター）
└Synergy!を利用した施策や業務の設計をしている（マーケター）
└Synergy!を管理している（管理者）
└Synergy!の導入を決定した（購買意思決定者）
・SUS設問
1. フォーム機能を頻繁に利用したいと思う
2. フォーム機能は必要以上に複雑だと感じた
3. フォーム機能は簡単に使いこなせると思った
4. フォーム機能を利用するには詳しい人のサポートがいると思った
5. フォーム機能はさまざまな機能がよくまとまっていると感じた
6. フォーム機能を使ってみて、一貫性がない・予想に反するところが多かったと感じた
7. 大体の人はフォーム機能の使い方をすぐに理解できると思う
8. フォーム機能はとても操作しづらいと感じた
9. フォーム機能は使いこなせる自信がある
10. フォーム機能を使い始めるまでに、覚えなければいけないことがたくさんあった
・自由記述欄
・その他、フォーム機能へのご意見・ご感想などを自由にご入力ください
▼結果の計算方法
・奇数設問 : 「5段階の回答番号」から1を引く
・偶数設問 : 5から「5段階の回答番号」を引く
・すべての設問は0から4で評価し、足しあわせた合計数値を2.5倍して0から100のスケールへ変換する。
※質問を見ての通り、奇数項目がポジティブな質問、偶数項目がネガティブな質問となっているため。
▼結果の評価グレード
上記のように、SUSアンケートを実際にやってみましたが、回答数を思うように集めることができませんでした。過去に実施した弊社のアンケート実績から、インセンティブを設けずに試したことが影響したと仮説を立てています。結果として、ユーザビリティ評価を数値で出すことができた一方で、その内容が信頼に値するのかを判断できなかったため、今回はテスト的な実施として位置づけ、他の機能で実施する際の参考材料としました。
4. メッセージング機能でもやってみた
フォームチームでは十分な準備ができずに実施してしまいましたが、他のチームでも実施してみよう！ということになり、メッセージングチームでもSUSアンケートを実施することになりました。そこで今回はフォームチームの反省を活かし、インセンティブを設けて実施しました。これにより、数日で目標件数の回答を得ることができました。
SUS＝〇点という点数は実はあまり重要ではなく、SUSで出した定量評価を起点にGradeや回答傾向を集計・分析することが、SUSに取り組む本質だと思っています。
今回は以下のような組み合わせで集計・分析した結果、いくつかの仮説が生まれました。
■集計・分析の組み合わせ
・SUSのGrade × 利用歴
・SUSのGrade × 利用頻度
・SUSのGrade × コメント（自由記述）あり・なし
・SUSのGrade × 個別設問
・利用頻度 × コメント（自由記述）分類別
■SUSのGradeに関連する仮説
・利用頻度が高いほど操作リテラシーが高くなるためユーザビリティに対する不満が減る
・オンボーディングやサポートが適用されるとユーザビリティに対する不満は発生しにくい
■その他の設問に関連する仮説
・利用頻度が高いほど、直面している課題を課題として捉え言語化できる
・利用頻度が高いほど、ユーザビリティよりも「機能不足」の課題に直面する
・利用頻度が高いほど、エンゲージメントが高くてコメントを残す（生存者バイアスの可能性）だけで利用頻度が低くても同じような課題を感じている
また、自由記述欄にいくつか同様のコメントが残されていました。Synergy!のメール配信機能には配信日を決めて単発で配信できる「ベーシックメール」と、データベースに格納された日付情報を起点にした配信やメール開封／クリックに応じた配信などさまざまなメール配信ができる「リターゲティングメール」という大きく2つの機能があります。主にGradeの低いユーザーからリターゲティングメールについて、「使い方がわからない」「十分に活用できていると感じない」というコメントが寄せられました。
5. SUSアンケートを活かした施策
そこでメッセージングチームでは、今回のアンケートの結果を活かし、Synergy!のユーザビリティの評価を向上させるため、「リターゲティングメールの啓蒙」に取り組むことにしました。SUSのGradeが低いユーザーは、使い方がわからず「機能を使うことで何ができるのか自分ごと化できない」ということが、不安や不満に繋がっているとSUSアンケートの集計・分析結果から仮説立て、以下のような施策を実施しました。
リターゲティングメールの活用方法を業界ごとにまとめたWebページの公開
リターゲティングメールの使い方を説明するセミナーの実施
Webページはベーシックメールを利用しているお客様に興味を持ってもらうため、ベーシックメールを設定する管理画面に訴求をしました。セミナーは、そのWebページだけではなく、ログイン画面にもセミナー募集のバナーを掲載することで、幅広い方にご参加いただけるようにしました。
上記施策により、これまでリターゲティングメールを使っていなかったお客様がリターゲティングメールを使い始めるという結果に繋がり、メッセージング機能の「利用頻度を向上させることで、不満をなくすことに繋がっていくのではないか」という仮説を検証するためのアクションができました。次回のSUSアンケート取得時には、今回のアクションがユーザーの不満・不安を少しでも払拭できたかを計測したいと思っています。
6. 今後の展望
SUSアンケートは1回取っておしまい、ではありません。今後も継続して取っていくことで、それぞれの機能の「ユーザビリティ」を測定していくことができます。
私たちはこれからも使いやすさを追求していくため、毎年各機能でアンケートを取得し、管理画面の改善や施策に繋げていこうと思っています。
今回の話が、SaaSサービスのユーザビリティの評価に困っているみな様のお役に立てれば嬉しいです。
【SaaSビジネス経験談】では、今後、下記の記事を公開予定です！気になる記事がございましたら、ぜひ「シナマケのプロダクト」をフォローして、公開通知をお受け取りください
▼Synergy!製品情報
#SaaS #SUS #アンケート #ユーザビリティ評価 #使いやすさの評価
#顧客体験 #プロダクトマネジメント #シナジーマーケティング
#私の仕事 #仕事について話そう