データに振り回されて失敗したあんなことやこんなこと、質疑応答編

初出: mobage developers blog 2014.10.01投稿
mobage developers blogのリニューアルに伴い削除されたため再録、画像はいろいろあって再録対象外

こんばんは。ビジネスアナリティクス部アナリティクス・ディベロップメントGrの @dnogami_dena です。前回の記事「データに振り回されて失敗したあんなことやこんなこと、をCEDEC2014でお話しします 」で予告させていただきましたが、予定通り発表をさせていただきました。会場にお越しいただいた方、ustream経由でご覧いただいた方には感謝申し上げます。

CEDEC 2014での、会場の質疑応答をまとめつつ、補足記事を出していきます。補足記事の予告は最後に！

　さて、発表後に、OPF事務局から「発表内容を記事にまとめさせていただきます」という告知をさせていただいたのですが、よく考えてみますと、発表内容は現時点でも様々な手段で流通しているのですよね…

発表スライド…Slideshareで公開済み
http://www.slideshare.net/DaisukeNogami/20140904-cedec2014-v02
発表内容を取材いただいた記事…1件記事にしていただきました
【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る
ネット上での反応…直後にtogetterでまとめました
CEDEC2014発表「データに振り回されて失敗した あんなことやこんなこと」に頂いた反応（ http://togetter.com/li/716086 ）

　ということで、いまさら同じ内容を記事にしても内容がないので、当日の会場での質疑応答をまとめつつ、より深い内容を補足した記事を出していこうと思っています。

質問① 発表の趣旨とは逆になっちゃいますが、データを信じたらうまくいった事例はありましたか？

なかなか適切な例が思いつかないですね。
なぜなら、タイトルを運営しているメンバーは、そのタイトルのことを深く理解しているので、ゲーム自体の面白さについて、何かを大きく見逃すことは少なく、データで分かることの大半は「感覚の裏づけ」になることが多いです。
ただし、遊び方が非常に多様な場合や、マネタイズに関するものでは、データから見落としに気づくことはあります。
発表の中では、割引販売に対する評価などが挙げられる、とお伝えしました。
また、発表で述べなかった中では、ギルドを組み合わせたチーム同士でのバトルの状況や、様々なステータス別のスキル発動状況などが挙げられます。

質問② 頑張って楽しいときも、負担が大きくて疲れるときも、バトルの数字は似てしまいそうですが、どうやって感情を読み解くのですか？

質問の趣旨は「グループバトルが盛り上がった事例では、疲れるバトルであっても楽しいバトルであっても同じバトル数であり、ユーザの感情は数字で読み解けないのではないか」というものでした。

基本的には、自分の体感とつなぎ合わせることで感情を読み解いていきます。
特に、バトルをしている時間や、遊ぶ回数というのは、どのようなゲームでも感覚の裏づけになりやすいです。なぜなら、どんなに面白いゲームでも、長時間続けていると人間なので疲れがたまるし、仕事中などにも呼び出されるくらい遊ぶ回数が増えると負担感は強いですよね。

また、どの程度のお金を使ったかというのも参考になります。キャリア決済やクレジットカードの場合は、時間を空けて冷静になったタイミングで請求がくるため、前月とくらべて請求金額が増えていることに気づいてしまうなど。良い思い出とセットであれば良い思い出になりますが、悔しさが残っているときには負担と感じてしまうこともあると思います。

これらは様々なタイトル共通にできる指標ですが、他にも様々なログに感情が表れるはずです。

質問③ 自分はゲームに対して非常に思い入れのある人間なので、ライトなユーザさんの気持ちを想像するのに苦労しているのですが、コツはありますか？

私自身は、実は「使うときは使う、使わないときは使わない」という、メリハリを付けてお金を使う人間なので、ユーザさんの中に占める割合は小さいユーザだと思っています。

ですので、タイトルの運営チームにいる、「非常に思い入れが強く、苦労をいとわない」メンバーや、「より好きなタイトルが別にある」メンバー、「子供がいるなど個人の事情で、すべての時間をタイトルに費やせない」メンバーなどと話をすることで、自分の気持ちがどの程度偏っているかを把握するようにしています。

しかし、まずは自分の気持ちを把握し、自分を観察するのがもっとも早く、また、話を聞くときにも比較対象がある方が適切に気持ちを把握できるので、発表の中では「自分自身をサンプルにする」ことをお勧めさせていただきました。

なお、最終的には、ユーザさんに直接お話を聞くという手段もあります。
非常に思い入れの強いユーザさんに忌憚のない意見をいただくことは、分析に限らず、運営全体の参考になります。弊社でも時々そのようなインタビューをさせていただいております。

質問④ 分析業務の中で、一番意識されていることはなにですか。（答えを受けて）分析は個人よりもチームで進めるのがよいのですか。

なかなか「一番」を挙げるのは難しいですが、発表の流れで言うならば、「自分だけで何とかしようと考えない」ということだと思います。自分一人の立場で考えてしまうと、どうしても部分最適の結果を出そうとしてしまうからです。

（質問者からの「つまり、分析は1人ですすめるよりも、チームで進めるほうがよいのですか」という投げかけに対して）その通りで、自分の分析に足りないものを指摘してくれるメンバーがいるチームがある方が、よりよい分析ができると思います。

（補足）ここでいう「チームで進める方がよい」というのは、1つの分析を複数名で進めることではなく、分析結果をレビューしあえるチームがあることを示しています。分析の内容にもよりますが、小さな分析を無理に分業する必要はないと考えています。

質問⑤ ユーザさんは複数のタイトルを遊ばれていると思いますが、他のタイトルが原因となった変化はどのように捉えていますか？

質問の主旨は、ユーザさんが同時に遊んでいる他のタイトルの影響により、自分のタイトルでのアクティビティが変化した、といった変化（例：プレイ時間の長いイベントがあったために自分のタイトルでのプレイ時間が減少した）をどのように分析されているかというものでした。

分析自体は行ったことはあり、複数のタイトル間で名寄せを行って、トータルのプレイ時間と、プレイ時間をタイトル別に分解したものを集計し、イベントにかかる時間の影響を確認したことはあります。ただし、タイトルを超えたイベント内容の調整が難しかったこともあり、結果を踏まえたイベントの内容の調整には至りませんでした。

質問⑥ アナリストの数字を読み解く能力の差はどのように考えていますかか？　また、定性的な反応を元にした分析は行いますか？

定性的な反応、例示していただいたような、Twitterや２ちゃんねるでの反応は、数字を読み取った結果の検証として確認することがあります。
弊社のタイトル運営チームでは、運営の参考にするため、定性的な反応を高頻度で確認してチーム内でサマリーにしていることが多く、アナリストも、そのサマリーを用いて分析結果の確からしさを確認しています。

また、数字を読み解く能力については、個人差があるのはおっしゃる通りですが、能力の高いアナリストと業務をしながら磨くことで一定レベルには達すると考えています。現に、弊社のアナリストでは、新卒で入社して2,3年目のアナリストの割合も多いのですが、彼ら・彼女らも業務を通じて成長しています。

補足記事の予告ですよ。チームバトルや、ガチャのマネタイズに関する失敗談の補足を予定しています。

さて、今後の補足記事ですが、おそらく関心が高いのは、チームバトル（失敗談 #4）であったり、ガチャのマネタイズ（失敗談 #5）であったりすると思います。

こちら、自分でも記事にできるのですが、せっかくですので、より直近の事例をご紹介できるメンバーを召喚したいと思います。

チームバトル等については、より最近までタイトルの分析を担当している期待の若手Nに、
ガチャのマネタイズ等については、パートナー様をサポートしているコンサルタントKに、
原稿を依頼しました。

しばしお時間をいただきますが、期待してお待ちいただけますと幸いです。