ドキュメントの効果を計る方法について、10案ほど考えた

ドキュメントサイトを運営している中で、非常に頭を抱えているのがドキュメントの効果測定です。
まだまだ検証中ではありますが、いくつか試してみる価値がある方法をまとめました。同じく悩みを抱えている方の助けになれれば嬉しいです。

測定方法

目的を達成するまでの時間を計測する

ドキュメントの目的を満たすために、どのくらいの時間がかかるかを測定します。読み手としては、ドキュメントを読むことでいち早く悩みを解決したいと思っています。なので、達成まで短ければ短いほど良いというわけです。

例えば、『アカウントの追加方法』を説明するドキュメントの場合、ユーザーが何もしていない状態からアカウント追加までの時間を測定することで、ドキュメントの効果を評価することができます。
チュートリアル系のドキュメントの場合に効果的です。

ドキュメントを読み切る時間を計測する

また、ドキュメントを読み切るまでにかかる時間も重要なポイントです。
長すぎるドキュメントはユーザーにとって退屈になり、避けられる可能性があります。

また、複雑で長いドキュメントは、製品自体が複雑である可能性があります。その場合は、プロダクトチームへとフィードバックをし、改善の余地があるか相談しましょう。
商品説明系のドキュメントの場合に効果的です。

問い合わせの減少数(率)を計測する

ドキュメントを追加したことで問い合わせ数が減ったかどうかを計測します。

例えばサポートチームと連携し、どのような問い合わせが多いのかを分析します。その結果をもとに、ドキュメントを作成します。
ドキュメントを作成したことにより、問い合わせ数(率)が減少できた場合、ドキュメントに効果があったということができます。

逆に、複雑なドキュメントを書いてしまったことによって問い合わせ数が増えた場合、ドキュメントには改善の余地があります。

お客様からの評価を計測する

ドキュメントページに「good/bad」ボタンなどの評価機能をつけてお客様からの評価を確認し、ドキュメントの質を測定します。

お客様の評価が悪いドキュメントは改善する、または削除することが検討できます。（不要なドキュメントは削除することも一つの解決策です）

書くべき内容がどの程度網羅されているかを計測する

可能な限りドキュメントサイトには全ての情報が掲載されているべきです。
プロダクトを理解するために必要なドキュメント数を100としたときに、現在掲載されているドキュメント数を確認し、計測します。
書くべき機能が書かれていない場合には、改善のための追加のドキュメント作成が必要となります。

ドキュメントリクエストの運営状況を計測する

お客様から、または社内のメンバーからドキュメントのリクエストを取得できるような仕組みを構築します。
その上で、ドキュメントリクエストが運営されているかを計測します。
ドキュメントは大小様々な課題が上がってくるので、スコア付けをした上で優先順位とスケジュールをきめ、スケジュール通りに対応できているかを計測します。
スケジュール通りに対応されているかどうかを確認することで、ドキュメント作成の効率性を評価できます。

古い情報が掲載されている数を計測する

ドキュメント内に古い情報が含まれていると、ユーザーに誤った情報を提供する可能性があります。
そのため、定期的にメンテナンスを行い、古い情報が掲載されている数を計測し、なぜ改善されてないかを確認します。

読みやすさを計測する

ドキュメントはユーザーにとって読みやすくなければなりません。
ガイドラインに沿った形式で記載されているか、文法やスタイルに誤りがないかをチェックしましょう。
読みやすく統一感のあるドキュメントはユーザーにとって使いやすく、価値のある情報を提供できます。

Google Analyticsの分析を活用する

Google Analyticsを使って、ドキュメントの成果を測定しましょう。確認ポイントとしては以下の通りです。

• ページビュー数
  ページビュー数が少ない場合、目的のお客様に届いていない場合がある

• ページの滞在時間は想定通りか
  滞在時間が極端に短い/長い場合はお客様にドキュメントの価値を提供できていない可能性があります

• 直帰しているか
  直帰しているということは、解決できたということ。逆に他のページへの回遊が多い場合、回答を得られていない可能性が高いです

• 目的のページにすぐ辿り着けているか
  検索キーワードから目的のページに辿り着けていない場合、サイト設計を見直す必要があります

なお、上記ポイントは個別にみるのではなく、複合的に見て判断する必要があります。
例えば、ページビュー数は多いが、滞在時間が極端に短い場合、必要なタイトルで検索されているが、ドキュメントの内容が想定していた内容とは異なるために、離脱した可能性があります。

アンケートを活用する

ユーザーにアンケートを実施して、ドキュメントの改善点や満足度を計測します。ユーザーのフィードバックは貴重な情報であり、ドキュメントの改善に役立ちます。

大前提

ここまできて前提を書きますが、ドキュメントの目標は、組織の目標と目線が合っていることが大切です。
組織の目標をドキュメントチームで認識しつつ、どの指標をもとにドキュメントの計測を行うのかを考えるのが良いですね。

さいごに

ドキュメントの計測方法についてはまだまだ道半ばでして、現在進行形で悩み中です。読んでいただいた皆さんの中で、良い取り組みをしている方いらっしゃいましたらぜひtwitterにご連絡ください。