mikanのプロダクト改善における3つの失敗
このブログは、「モバイルアプリマーケティングアドベントカレンダー2021」の23日目の投稿です。
面白いと思ったら #アプリマーケアドベント をつけてシェアをお願いします！
はじめに
こんにちは。
mikanでPMをやっている、飯田（@aviciida）です。（サムネは僕ではなく、代表の髙岡さんです）
2018年夏にジョインしてから分析やコンテンツ制作、デザインなどを経験し、2019年5月からmikanでiOSエンジニアとして2年半ほど開発にがっつり携わってから、最近PMに転身しました。
事業や会社の成長のためならなんでもやっていくぞ、という気概の人間です。
この記事では、僕がmikanにジョインしてから今までのプロダクト改善において「上手くいかなかったな〜」「もっとこうしておけばよかったな〜」という施策や取り組みを3つ、紹介したいと思います。
プロダクト改善とは挑戦の連続であり、成功の裏には何倍もの失敗が隠れています。
今回は、あまり触れられることのない「失敗談」を紹介することで、自分としては同じような失敗を繰り返さずにできるだけ早くプロダクトを前進できるように、そして皆さんは自分と同じような道を辿らないような手助けができればと思います。
ちなみにmikanでうまくいった施策は
アプリマーケティング研究所さんの記事で詳しく紹介していただいています。
1. 分析不足な仮説に基づく施策
2019年初に行った「インストール直後にフリートライアルに加入しないと全機能使えなくする」という施策の話です。
前提として、mikanはフリーミアムモデルで成り立っており、ある程度の機能・教材は無料でお使いいただける仕様になってます。
この施策は、フリーミアムではなく、サブスク必須のモデルにするという、ドラスティックなものでした。
当時考えてたこととして
・無料ユーザーの継続や課金転換は大変そう
・学習は筋トレと同じく、やろうと思った時（インストール時）が1番やる気が高く、課金されやすいのでは？
・サービスにお金を払ってしまえば、損しないように学習を継続してくれるのでは？
総合して
「インストール直後に課金しないと使えないようにすれば、インストール時はやる気も絶頂なので課金してくれるし、課金したら学習してくれるのでは？（最強やん！！）」
という仮説を持ち、トライしてみました。
その結果、リリース直後からレビューが大荒れしました。
「無料と聞いていたのに課金させられる」「詐欺アプリ」などという★1のレビューが大量に届いたのです。
数字としても、無料ユーザーの蓄積を捨ててまでペイするような課金転換率には程遠く、リリースして数日で撤退することになりました。
反省としては
・ドラスティック施策であるのに、感覚的な仮説があるだけで分析を通して検証せずに、いきなりリリースしてしまった
・「無料で使える」というクチコミがネットでも人づてでも広がっているのを考慮しておらず、この施策による新規ユーザーへの悪影響を考慮できていなかった
・レビューが荒れて、「評価が高い（当時AppStoreは3万件ほどで4.7）」というmikanの強みが毀損される可能性を考慮できていなかった
という、改めて振り返ってみると「なんでこんな雑にやったんだ…」と頭を抱えてしまうのですが、
これが失敗の1つ目になります。
ちなみに、こんな失敗でしたが、唯一やっておいて良かったのは
万が一失敗した時にアプリのアップデート無しですぐに導線を消せるようにしておいたことです。
これのおかげで、被害を最小限にとどめることができました。
ちょうどこの沖縄合宿に行く数日前に撤退の判断をした気がします
2. N数が確保しにくいセグメントでのABテスト
mikanは数年前まで、ほとんどの施策でABテストをしていませんでした。
（これ自体が1つの失敗談の項目に入ってもいいレベルですね）
それまでやっていた施策は、リリース直後にかなり大きなインパクトが出た施策だったり、どっちにしろ追加していきたい機能だったり、数人でやっていてリソースが限りなく少なかった状態でスピード感持ってやっていくために一定仕方なかったりしたので、それはそれで良かったのですが・・・
しかし、ABテストをしないと、施策をリリースしてからの数値の変化が「季節要因・時期要因ではなく、施策のおかげなのか」という問いに対して自信を持って答えられません。
プロダクトが本当に正しい方向に進んでいるのかをデータに基づいて意思決定できていないということになり、これは当たり前ですがかなり怖いことです。
そんな経緯で、施策をするときは、50%ずつ割り振るABテストをして、必要なサンプル数を確保して検定して、有意差が出たら100%開放する、という風にしました。
そして施策のABテストをするようにしてから、常々難しいと感じているのが「N数の確保とスピード」です。
継続率を上げるにしても、課金CVRを上げるにしても、色んなユーザーにまとめて効くような施策を打つのは至難の業です。
だから生態系が分かれるようなセグメントに切った上で、各セグメントに施策を当てていく、というのが定石だと思います。
そうすると、対象セグメントは小さくなり、1つの施策のABテストの検定をするために必要なN数が貯まるまでにかかる時間は長くなります。施策の検証期間が伸びれば伸びるほど、100%リリースして全体数値に反映させていくのも遅くなってしまいます。
さらに、AB開始してN数貯めて、いざ検定してみたら数値が芳しくない時にテコ入れをしたりすると、そこからまたN数が貯まるのを待たなければいけなくなり、時間がめちゃくちゃかかってしまいます。
意思決定にもスピードが求められるこのアーリーフェーズで、このように施策のABテスト開始から、成功・失敗の判断までに時間がかかってしまうことが、N数の少ないセグメントに対して施策を打つ上で難しいところです。
もちろん、インパクトが大きい（明らかに数字が爆伸びするような）施策をやれば、必要なN数も少なくなるので、スピード感を落とさずデータから正しく意思決定するには、それが1つの対策ではあるのですが、なかなかそんな神施策を連発できるわけではありません。
逆にそれほどインパクトが大きく出なかったような施策の場合、その成功・失敗判断をするために必要なN数は大きくなるので、判断までに時間がかかってしまいます。
この辺りは、社内でも良い解決策が出ていないので、もしこの辺りに詳しい方がいらっしゃったら、ぜひディスカッションさせていただきたいです。
3. 「英単語」領域における改善へのフォーカス
これは「ある施策の失敗談」というわけではなく、「ここ数年のmikanのプロダクトマネジメントを振り返った時の反省」になります。
最近ようやくmikanは英単語だけでなく、リスニング問題や文法問題、さらに長文問題が解けるような問題演習機能をリリースし始めているのですが、これをもっともっと早く始めておけば良かった・・・という話です。
2018年に僕が入ってから、追う数字は継続率や有料転換率や有料継続率など色々変わってきましたが、あくまで「英単語アプリmikan」枠内での改善にフォーカスしてきました。
もちろん、継続率などの数値改善はめちゃくちゃ大事です。しかし、ミラティブ坂本さんのこちらの記事にも書いてある通り、その数値を改善するための施策、いわゆるグロースハックは、あくまで英単語事業というキャップがある中での「チューニング」に過ぎません。
（この坂本さんの記事、めちゃ勉強になりました。何回も読みました。）
事業成長を考えていくと、本当にやるべきだったのは、現状の70点を100点にするような「改善」なのではなく、そもそも100点というキャップを1,000点や10,000点にしていく「改革」でした。
mikanでいうその改革とは、「英単語から英語への拡張」です。
ミッションにもあるように、英語への拡張は、mikanにとっては悲願でした
現状の英単語アプリだと、ユースケースとしては、メインの教科書や問題集は別でやりつつ、単語だけをmikanで学習するというパターンが多いです。
ユーザーインタビューした時も、mikanだけで勉強している人はおらず、何かしらの「メインの」参考書などと併用するケースばかりでした。
このような立ち位置だと、払える予算の額としても、そこに時間を投資し続ける期間としても、どうしても限られてきてしまいます。
自分たちが今まで英単語アプリmikanの中でやっていたのは、その限られた予算や期間の中で最大限まで改善していく、ということです。
でも本当は、mikanを使えば英語勉強は完結するというくらいの、メインの英語学習に寄り添う、というのにフォーカスするべきでした。
もちろん、先述の通り、数値改善は大事ですし、今までやってきた改善施策で、今のmikanの根幹となっているものはいくつもあるので、やって良かったとは思っています。
しかし、ある程度数字を上げた段階で、次の非連続な成長のために、英語への拡張に早めにフォーカスしておくべきだったと反省してます。
では、なぜこれほど遅くなってしまったのでしょうか。
もちろん原因は1つではありません。
そもそも人数が少な過ぎてそんな大掛かりなことはできなかったとか、目の前の改善が得意なメンバーが多いので改革ではなく改善にフォーカスしてしまっていたとか、英単語アプリである程度収益が出ていて非連続な成長に対する切迫さが少なかったとか、色々な理由が考えられます。
その中でも大きいと思うのが、プロトタイプの有無です。
「英単語から英語への拡張」は、最近突如やらねば、といって出てきたものではなく、何年も前からやりたかったことではありました。
なぜ、やりたいと思ってたけどできなかったのか。
それが、みんなが「これは行けるぞ」と思えるようなプロトタイプがなかったことだと思っています。
既存アセットである流入を活かすために「英単語から英語へ」の拡張はアプリ内に組み込むことになりそうなのはわかっていても、チーム内で、その具体的なイメージが全く持てていなかった。
2021年の春すぎに、採用も進んできたし会社として英語への拡張にリソース割いていこうという判断をしたわけですが、まだその時も、具体的にどうやって英単語アプリmikanの中に、問題演習機能を組み込んでいくのか、あまりイメージはできていませんでした。
しかし夏くらいにみぞさんが（採用責任者として忙しい中）プロトタイプを作ってくれました。
ここで初めて「問題演習機能を組み込むの、いけそうやん！そしてめっちゃ使いやすそうやん！」みたいなイメージがチーム内で共有されるようになり、そこから一気に色々と進んだ気がしています。
まとめると
・もっと早く「英単語から英語へ」という改革に取り組むべきだった
・プロトタイプによって改革の具体的なイメージが湧いて、一気に進んだ
という感じです。
さいごに 〜失敗を公開できるということ〜
プロダクト改善はもちろん、働いていると、上手くいかないこと・失敗することだらけです。
むしろ、うまくいくことの方が頻度としては少ない気がします。
だからこそ、失敗との向き合い方が大事だと思っていて、mikanの「頻繁に振り返りを行う文化」や「挑戦を讃える文化」がとても好きです。
紹介した以外にも、頭を抱えるような失敗はたくさんしてきました。
でもその度にしっかりチームで振り返って、なぜそうなったのか、次はどうやったらいいのかを考えるようにしていて、プロジェクトを重ねるごとにチームとして成長できるような体制になっています。
色々な失敗をしつつも、適宜振り返って学び取って、成長していけるチームです。
（もちろん、上手くいった時も振り返ってます）
DB刷新という巨大プロジェクトが終わった時の振り返りの様子
また、代表の髙岡さんの信念で「人は努力すれば基本何でもできるようになる」というのがあり、それが会社として「挑戦を讃える文化」になっていると思います。
たとえ今回失敗したとしても、ちゃんと振り返って次はもっと上手くできるようになれば良いし、そもそもそれに挑戦したのがナイスだね！みたいな感じです。だから会社の雰囲気としても、失敗に対して、ネガティブなイメージがないと思います。
（ぜひみんな1度髙岡さんと話してほしい。何か提案したら絶対「なるほど、いいね！」から始まります）
今回このように、失敗をブログとして公開できるのは、その失敗をすでに振り返って学びに昇華してあるからであり、そもそも失敗自体が悪いことじゃないと思っているからです。
これからも、そんなmikanで、事業を大きくして、より多くのユーザーさんにより大きな価値を届けられるよう、何にでもトライしていきたいと思います。
ご連絡お待ちしてます
mikanに興味を持ってくださった方や、一緒にトライしてみたい方！
採用情報はこちらにあるので、気軽にご連絡ください！
また、僕個人としては最近PMに転身してわからないことだらけなので、ぜひ色んな方とディスカッションさせていただけると嬉しいです！
友達募集中なので、Twitterのフォローや、ご連絡お待ちしてます🙆♂️
万が一サポートしてくださる、仏様のような人がいれば、ぜひ...！仕事でのガジェットに使います！