【テキスト版】#63 Issue Analysisについて-タベリー初期の資料も大公開（後編）
2020/05/16に公開したPodcastを書き起こした文章です。前編はこちら。
効果的な施策かどうかの評価方法
Hikaru：施策の効果が高いかどうかみたいなことはどういう風に判定しているんですか？
Yamotty：やっぱり施策なので最後ここ（一番左にあるIssue）に効いたかなんですよね。ファネル伸びたかで一番みるんですけど、絶対これやるときはスプリットテストでやってました。
Hikaru：ああ、（質問したかったのは）手を打つ前って意味ですね。その、実装する前に、効果が見込めるかですね。
Yamotty：ああ、それはねえ、もう自分が体験した時に最もペインだと思うかどうかとか、ユーザーボイスから上がってきた中で、ペインが強いんだなっていう、数字になるものではなくて、定性的な評価をしてます。
例えば僕ら初めタベリー触ってて、全然自分が欲しいもの出てこないなみたいな。これ低そうだなっていうので、そしたらアルゴリズムもそうだし、アルゴリズムに反映するためのコールドスタート問題を解決するっていうところが、優先度がきゅっと高くなるっていう。そこはかなり定性ジャッジでしたね。体験に対して効くかどうかっていう。
Hikaru：そこも結構組織が大きくなったりとか、長く運営しているアプリとかだと、定性的だけだと判断が難しくなるというか、意思決定に関わる人数が多くなるほど、それって結構難しくなるかなって感じてて、だからデータ分析で思索の優先順位って求められるんですけど、結構これに僕も近いことをやってるんですよね。別に周囲のプロダクトマネージャーがこういう分解とかをして優先順位をつけるってことをしてなかったとしても、自分で勝手にこうIssue Treeって形にして、施策も考えるし、周りからもらった施策とかも自分でこうマッピングして、こういう全体像です、どれからやりますかみたいな話になるじゃないですか。
Yamotty：そだね。
Hikaru：でファネルとしてはこういう数値ですっていうと、施策ごとにどの施策が効果高いかも分析してみたいな話までするんですよ。でもそんなにわかんないと思うんだよねやっぱり。せいぜいそのポイントに人が通過してるかってそのボリューム感とか、機能使ってるかどうかって分析するけど、そこまではっきりはわかんなくて、僕は割とプロダクトに一番詳しい人の肌感とかで決めても良いんじゃないかって思うんだけど。
Yamotty：ああそうっすね。
Hikaru：ただその、タベリーとかって、Yamottyは意識的にやってると思うけど、かなりターゲットが絞られているタイプのサービスじゃないですか。使ってるユーザーがマスというか色んなタイプのユーザーがいるサービスになるほど、やっぱり感覚的な意見だとわかんないことも増えていくんだよね。メルカリとかってすごく使ってる人数が多くて、男性も女性もいて年齢層も幅広くて、収入が高い人と低い人がいるから、何が刺さるかって定性的に考えてもわかりづらいところって増えてきてるかなと思ってて、逆に一個の施策が、Aの群は好きだけどBの群は好きじゃなくて、そのオフセットで微増みたいな感じになってるんじゃないかなって思うんだけど、そういうのが結構増えてくるから、どんどん判断が難しくなっていくんだよね。僕もどっちかっていうと手数で処理する方に賛成なタイプなんだよね。
施策は「大通り」を狙え！
Yamotty：でも今の整理すごく良いなと思って、マスに近いほどプロダクトってジェネラルにしていかないといけないじゃないですか。誰が使っても同じように効果が出るとか、誰がその機能の優先度にそこまで差がない状態を保つ必要があるというか。そうすると、例えばメルカリで、わかんないこれは適当に言いますけど、売り上げの6割くらいは高収入で単価の高い人たちからもたらされてるけど、そういう人たちってユーザー数としては10%くらいしか実はいないみたいな。あるあるの構造じゃないですか。90%の人たちは楽しく使ってるんだけど、この人たちからもたらされる売り上げはそんなに大きくないっていう。そういう時に、そのアッパーの人たちのみを優遇するみたいのが果たして良いかっていうと、1000万DAU、MAUだっけとかそういう規模があるアプリでそんなことできるわけがなくって。
Hikaru：そうですね。結構そこはいつも意見が分かれるところだとは思うんだよね。基本的に、売上みたいなのを愚直に追おうとすると、すごくそのロイヤルユーザーに集中する方が早いって話になるんだけど、それってすごくマニアックな機能だったりとか、けっこうファネルのトリッキーなところみたいなやつ、奥の方ですよね。奥の方って言ってるのは、初回のコンバージョンとかではなく、20個めから21個めの転換とか、の方が話が早いわけじゃないですか。でもそういうところって使うユーザー少ない。本当に使い込んでいる人だけが開ける扉？ ゲームの裏技みたいなところ？ でも大体の人はゲームの主人公に名前をつけるところで落ちとるんやぞっていう状況もあるわけですよね。人数的にいうと。そこはバランスを取らないと、長期的には栄えなくて、サービスって。それはすごい難しいな、とは思うんですよね。
Yamotty：そうですね。
Hikaru：ただちょっと前に、自分がサービスの分析とか改善から得た学びみたいなやつを抽象化したドキュメントみたいなやつを作ってて、ちょっとそれは全て話せるわけではないんだけど、前すごい思ったのが、一番大事なのはその「大通り」って僕読んでるんですけど、人が一番使ってるところの施策みたいのは、何より王様だなというのは思ってて。すごい使う人が少ない奥の奥の機能を、めちゃくちゃ良くしたとしても、そんなに数字とかに跳ね返ってくることってないんですよね。
Yamotty：うんうん。
プロダクトリソースの95％を割くべき場所
Hikaru：例えばメルカリの話で言うと、すでにこれって山田進太郎さんとかも記事で喋ってたんで全然話しても大丈夫な話なんですけど、昔、写真が延々並んでるサービスじゃないですかメルカリって。二列だったんですよね写真が。でもあれ三列にしたじゃないですか。シンプルな改善なんだよね。まあUI上の、デザインの複雑さはあるんだけど、やってること自体はシンプル。一度にみれる写真の量を増やすって言う。で別にできることが増えたわけじゃない。複雑な機能がついたわけじゃない。でもあれはメルカリではものすごい効果があった施策のひとつで、なんであれが効いたのかなって言うふうに前考えてたんですよね。他にもいろいろ施策打ったことあるんだよね、物凄い難しいけど、使いこなしたらめちゃくちゃ良い機能とかつけたことももちろんあったし、やっぱりその、いかに全員が通る大通りにある施策かって言うのがデカいなって言うふうに思って、結局メルカリを触る時に、商品を探すっていうことって基本的にはせざるを得ないんだよね。いわゆる写真が並んでいるところを使わない人はいなくて、そういうところに施策を仕掛けるのが結構デカいかなと思ってて、なんかその検索のフィルターですごくマニアックなフィルターの機能とかを実装するとかって、あんまり人が使ってないから意味がないかなと思ってて、逆にああ言う、一番大通りのところで、単位時間あたりに処理できる商品の検討数を増やすとか、単純に、タイムラインからひとつの商品の詳細画面に飛ぶスピードを速くして、戻るスピードも速くするとかっていうふうな、すごい当たり前だけど全員がルーティンとしてやっていることを、すごく高速化するとか楽にするって言うのが、一番効くんじゃないかなって言うのが、いくつか得た学びの中では大きい方の学び。
Yamotty：それはすごく重要だし、あまりわかってる人が多くないと言うところだと思います。例えばですけど、僕は検索ってあらゆるサービスの中のセンターピンだと思ってるんですけど、ほとんどの場合。検索もしくは今だと推薦アルゴリズムっていう。これって、多分インターフェース上の工夫ってないんですよほとんど。メルカリがやってるような写真検索とか、ああいう発明はちょいちょいあると思うけど、あれも使ってる人はそれほど多くないはずで。基本的にはテキストを入れて、その時にユーザーさんが想起した商品とか、コンテンツをできるだけ早く返してあげるっていうのが検索で、これなんか無限の戦いでGoogleなんかはそれをずっとやってるわけじゃないですか。これってユーザー側からしたら今日も明日も使ってるのはあの窓なんですよね、検索の。
Hikaru：うんうん。
Yamotty：UI上の大きな変化とかは別にいらないし、求められてもないんだけど、後ろ側でやるアルゴリズムの精度を上げていくとか、そのキーワードを入れた時にユーザーが期待してたことを推測するっていう作業って、無限の戦いがあって、なんか僕はそういうものこそ王道だなって、プロダクトの中では。あとははじめに開いた時に絶対みんなが通る画面とか、一番のコアアクションを完結させるために必ず通る場所、これがなんか、プロダクトのリソースの95％を割くべき場所で。
Hikaru：おお、95％ときましたか。（感嘆）
Yamotty：さっき、絞ったプロダクトとジェネラルなプロダクトとみたいな分けがあったけど、なんかタベリーでも結局そうなんですよね。枝葉の5%になりそうなものは全部削っていくというか。Issue Analysisも基本的には95%に当たっているものに限定されているはず。その中で、例えば機能を追加するとか画期的なことをやるときの例外が一個だけあって、それはプロダクトの中では完結してないんだけどプロダクトの外で完結している大きな仕事とかジョブをプロダクトの中に取り込んでくるとき。例えば献立を決めるだけじゃなくて買い物を終わらせるみたいな。その時は、僕は例外発動。それはプロダクトを大きく変える、みたいなタイミングかなって。
人が実際に持っているIssueと僕らが考えたIssueには解離がある
Hikaru：そうね、そのアプリを使っている時に、アプリに付随してオフラインで起こって居ることがあるときって難しさがあるなと思ってるんだよね。メルカリとかはほぼオンラインで済むものかなとは思うんだけど、基本的にメルカリも含めいろんなサービスって、いわゆるオケージョンって呼ばれるものが重要かなと思ってて、オケージョンちょっと日本語に訳すとなんていうかわからないけど、例えばメルカリって使う最初は結構面倒くさいと思うんだよね、写真撮って、値段決めてとか。でもあるタイミングで物を処分しても良いなとか処分したいタイミングがライフスタイルの中で生まれる瞬間がありますと。例えば引越しだったりとか、出産だったりとか、たまたま高い物をもらったけど自分は使わない、だったりとか。もしくは、メルカリで買ったけど、自分にサイズが合わなくて、もう一回転売というか売っちゃおうかなって思うとか。
Yamotty：そうね。
Hikaru：そういうオフラインで起こってるトリガーとなるオケージョンみたいなやつが、メルカリにはもちろんあるし、あとはもちろんサービスによってはそういうオケージョンとかユースケースみたいなもの、オフラインにおける、が重要になると思うんだよね。Spotifyだって、どこで聞くかによって話は変わってくると思うんだよね。風呂の中で延々聞くのか、寝る前に聞くのか、ジョギングしながら聞くのかとか。そういうのがあるから、SpotifyとかGoogle Play Musicとかは、こういうシーンで聞ける音楽リストとかっていうのを用意するわけで、オフラインの中でいかにその人の生活とかに溶け込むような感じにするかっていうことを、すごく考えてると思うんだよね。でも実際にSpotifyのデータ分析のログをいくら触ってても、お風呂の中で聴いてるかとか、ドライブ中に聴いてるかとかっていうのは、全然わかんないわけであって、あれはもちろん、自分たちで使ったりとかユーザーに聴いた上で回答しかないと思うんだけど、結構そういうのって意外にしなければわからないから、難しい話やなって思ってるっていう。
Yamotty：そうですね、生活者の観察っていうことをよく言うんですけど、なんか僕らは人が実際に持っているIssueと僕らが頭で叩き出したIssueって絶対解離があるみたいな前提があって、そこを埋めるのは観察しかないと思ってるんですよね。
Hikaru：それはすごいなって思うよ。
Yamotty：うん。とことん人に向き合うみたいなのは、まあ人が持っていることに向き合うかな、人に向き合っちゃうと情緒とかが入り込んじゃうんで。そう言う意識でやってますかね。
N1警察、出動！
Hikaru：いつも思うのが、データ分析ってすごいそう言う意味ではインサイトとして浅いなって思ってるんだよね。いわゆるそのデプスインタビューとか、ユーザビリティテストみたいな、実際のユーザーの行動はすごく深いというか、実際正しい行動だし、それが。それを反映してると思うんだけど、そういうのって、複数人で意思決定する時に使うのってすごい難しいなって感じていて。僕はメルカリでUS事業で分析とか戦略とかやってた時に、ちょくちょくアメリカに行って現地のユーザーに使ってもらった感想とか聞いてたんですよね。
Yamotty：やってたね。
Hikaru：今思うとあれはそんなに質の良いインタビューができてたわけじゃないんだけど、いろんな理由があって。それでもやっぱ触ってもらって得たインパクトってすごくデカくて、インタビューに行ったチームの中では、これがIssueだよね、間違いないよね、みたいな感じの、実感が出てくるんだよね。でもそれをレポートとかにして共有した瞬間に、周りの人って全く理解してくれないんだよね。
Yamotty：わかる。（←すごくうなずく）
Hikaru：でしょ？ だから、深いんだけど、狭いんだよね。すごく射程範囲が狭い。自分の周囲1メートルにしか伝わらないインプレッションなんだよね、ユーザーインタビューとかって。でデータ分析は浅いんだけど、ぶっちゃけレポートにすれば、読んだだけの人でも、何か伝わる可能性はあるっていうのがあって。会社が大きくなっていくほどデータしか見られなくなっていって、N1の声とかってそんなに届きづらくなるっていうのはすごい構造的にあるなって思ってるんですよね。ただ同時に、そうなはずなのに、一部の経営者とかって、俺の友達が言ったんだけどさ、みたいな。（笑）
Yamotty：わかるわかる。（笑）
Hikaru：俺の奥さんがさあ、この機能クソだって言ってるんだけどさ、直してくんない？ みたいな。あるわけじゃないですか。
Yamotty：N1警察出てきたじゃん。（笑）
Hikaru：見知らぬN1の話はそんな信用しないんですよね。プロのインタビュアーがおこしたN1のインタビューは信じないのに、なんか自分の周りのN1は信じるとか、そういう不合理なこともあるよなと思うけど、ベースとしてはそういう定性とかインタビューみたいな情報っていうのは、やっぱそのやった本人にはすごい深く刺さるけど、周囲に伝播するのがものすごく難しい技術だなと思う。
Yamotty：人間の認知がバグってるからですよねそれは。結論でいうと意思決定者がN1をするか意思決定者がN1の重要性を知ってるかとか、使い方に慣れてるかってところに、ものすごい収斂してくなと思っていて。最近僕良いなと思ったのが、ずーっと自分でN1やってたんだけど、N1を他の人にやってもらうっていう体制に変わったら、上がってくるレポートを見て僕はインサイトを受けるんだけど、その時にN1をやった人ってN1をやった時に受けた感情とかもちょっと入ったりするのよ。それを質問していくと、それが削ぎ落とされて、その人が本当にN1のインタビューを通して得た、向き合ったユーザーさんのIssueって何かっていうのが、一回クッションを挟むとすごい綺麗に出てきたりするんだよね。だからその、まあ自分がめちゃくちゃ長けてるとかいうわけではないですけど、僕は少なくともN1インタビューっていうかN1の生活からインサイトを見つけるってことにすごい重きを置いている人間だとして、そういう人がうまく他の人のN1を吸い上げる力があると、分析も含めてうまく使えるんじゃないかなっていうのが最近思ったことですね。
Hikaru：うんうん。Yamottyはだからさっき話したが、小さい組織でそんなに合意を得ずに意思決定できる体制に向いてると思うんだよね。
良い意思決定=3つのあるコト
Hikaru：逆にYamottyが自分でN1インタビューしたものを、より上位者に伝えて説得するとかは全く想像がつかないし、逆に僕はデータ分析を使ってそういうのはすごくうまい方だと思うんだよね。広く合意を作ることが結構できるタイプかなと思ってるんだけど、でも僕はもう少しその、Yamotty側の仕事の仕方もうまくなりたいなと思ってるんだよね。最近別にデータ分析がしたいって気持ちもなくて、良い意思決定とか良いディレクションを作るっていうことに最近はすごく重きを置いているので、データ分析はその中の一つの手段ではあるし、特に多くの人数で合意をしたかったりとか、のちのちまでちゃんと納得感のあるエビデンスを残すっていう意味でのデータ分析の素養は役立つけど、データ分析を使って良い意思決定をできることはそんな多くないっていうふうに感じていて。
Yamotty：いやーパンチラインじゃないですかそれ。
Hikaru：うん。そうなんですよね。だから、よく思うのが、良い意思決定って何かっていう話なんですよね一つ。良い意思決定っていくつかあると思うんですけど、僕の中では大きく3つかなと思っていて、正しいこと、速いこと、納得感のあること。だと思ってるんですよ。で、データ分析は速く意思決定するには役に立つことがある。みんなが、俺の友達が言うにはってごちゃごちゃ言ってる間に、データ分析バシっと出して、いやお前らの意見は聞いてないと。これが、ユーザーの声だって言って、鎮めることができるんで、速く決まることはある。ABテストとかそうだし。で納得感を作ることも結構できると思う。でも正しい意思決定をするのにさほど実は役に立ってないと思ってる。だけど、多くの人はデータ分析は正しい意思決定に一番インパクトするツールだと思ってる。そこに非常に解離があるかなと思っていて、だからその三つの意思決定の柱が重要だとしたら、正しいって言う部分をデータ分析とそれ以外の力で補完して、プラスデータ分析を使えれば、この3つ全て満たせるので、非常に良い意思決定ができるかなって言うふうに思っていて、そのなんかMissing Pieceを埋めに行きたいっていうのが、今かもしれない。
Yamotty：なるほどね。そのN1みたいなものに晒されてるとWillが生まれてくるみたいなところがあるから、私が解決したかったのはこう言う人のこの問題だって言うのに気づかされるんですよね。それが結局Willになって、プロダクトのあるべき姿をアップデートすることにつながっていくみたいなものを、僕は結構何回も経験しているから、正しさが変わっていくみたいなのがあると思うんですよね。意思決定のさっきのフレームの中で言うと。でも企業ってそれし続けないと、永続的に革新的なことって絶対できないはずなので、やっぱ、なんかそうですね、正しさと向き合うための、人と向き合うみたいなのが、なんだかんだ僕は優先順位1かなみたいな気がします。納得感とか本当は糞食らえだろって昔は思ってたタイプだから。（笑）
分析といってプロダクトデータだけ見てたりすること多いので、全体像→優先領域→N1での深堀、をグルグル回すのめちゃくちゃ大事。
— Yamotty | 矢本真丈 (10X) (@yamotty3) February 8, 2020
Hikaru：組織が小さければ必要ないタスクかな、と思ってるんで、結構僕が得意なデータ分析ってそれなりのサイズの組織でしか意味ないスキルだなって感じてるんだよね。多分、ちっさい組織に居るんだったら、分析の力は速い意思決定に振ると思うんだよね。
Yamotty：でもその分けができてるのがすごい良いなと思うのと、納得感はクソだと思っていると言いつつも僕結構納得感にコストは割いているはずで、それはドキュメント作るとかデータ分析するとかは全てそのためにやっているところはあるので、なんだろうね、やっぱバランスなのかな、でもその中でも一番重要なのは正しさをどう作ってくかみたいな。
Hikaru：それはすごい思う。自分は結構早さと納得感のところのデータ分析の有用性をものすごく理解してしまったので、結構たまに正しさはそこそこどうでも良いって思ってるところあるんだよね。それは大きい組織だと、そもそも動くのが遅くて、その遅さがすごく無駄で、速く動けばもっといろんなことができるって思っているからって言うのと、チームの納得感みたいなのがアウトプットとか動き方にインパクトするかなって思っているし、僕がなんかギクシャクした組織みたいなのは自分自身得意じゃないって言うのもあって、そこを結構重んじてるんだけど、最近もう少し小さい会社とかサービスとかと仕事することが増えてきて、正しくなきゃ意味ないって言うのがめちゃくちゃあるから、意思決定の中で重視するものっていうのを、もちろん正しさは元々蔑ろにはしていないけど、もっと変えていかなきゃなと思っていると、データ分析とか結構どうでも良いかなって。
Yamotty：なるほどね。あとあれか、正しさへの責務を感じるのって現場と対峙してる人ほど強いかもしんない。例えば開発のリソース預かってる人とか。彼らを無駄にすることはできないみたいなのは、立場とかレイヤーの違いであるかもしれない。
Hikaru：うん、それは本当にそうかもしれない。
Yamotty：だいぶ長くなったねこれ。
Hikaru：めっちゃ面白いけどね。じゃあちょっと一旦こんなもんで切りますか。
Yamotty：そうだね。
Hikaru：N1インタビューとか、ユーザーペインに向き合うとかは、僕はまだまだ学んでいきたいなと思ってるので、最近はフリーアジェンダ録り終わったあとにYamottyと普通にサービスについて話したりとかして、知見を交換したりする会があるのを楽しみにしてるんだけど、この話はいったんこんなところにしておこうかな。
Yamotty：そうしましょう。じゃあそういうことで、Issue Analysis。
Hikaru：Issue Analysisについての回でした。面白い回だったと思います。Yamotty：はい。では聴いていただいた方、YouTubeのチャンネル登録お願いします。それではー。
Hikaru：バイバーイ。
頂いたサポートは、金額以上に励みになります。ありがとうございます！