見えないものを見ようとして試行錯誤したSales Opsの話
この記事はMonoxer Advent Calendar 2023 19日目の記事です
はじめまして、モノグサ株式会社のBusiness OperationチームでBusiness Planningを担当している田中と申します。
弊社の現フェーズにおける主要なお客様は大きく塾領域・学校領域に分けられますが、私は学校領域のSales OpsとCS Opsを主な役割とし、担当領域の事業計画のプランニングや目標達成のための事業モニタリング、達成確度を高めるための施策実行やEnablementなどを担っています（Sales”Ops”等と書いてはおりますが、オペレーションの構築というよりは上記のとおりPlanningとEnablementの役割を中心に今は担当しています）。
Advent Calendarのお話を1日目を担当されたmoyoさんから頂き、最初は最近（長らく？）はまっているサウナやモルックの話でも書こうかと思っていたのですが、備忘的に昨年度の試行錯誤の経験をどこかに置いておいてもよいかと思い、SalesチームにてSales Opsを担当していた昨年度のことについて、当時を懐かしみつつ書いていきたいと思います。
※ちなみに、SalesチームにSales Opsが、CSチームにCS Opsが昨年度まで存在していましたが、今年度からBusiness Operationチームにそれらの機能を統合したため、それに伴い私もそのチームに移り今に至るという感じです。
私は2021年8月に入社しているため、いまは入社して2年4か月ほどですが、最初の年度はField SalesとSales Opsの兼務、翌年度はSales Opsに重心を置きつつField Salesも少々任せて頂き、今年度は完全にBizOps/Planningの役割に移っています。
なお、Sales Ops時代の業務を自分はPlanning, Enablement, Operation, Onboarding, あとはSalesチームのカルチャー維持やサーベイの改善等の5分類で捉えていたのですが、本記事はPlanningの一部にフォーカスをしたものになります。
これから書くことは特殊な内容ではあり汎用性はあまりないので、誰かにとって実務上有益なものにはなりづらいと思うのですが、「まぁ色々やってみるか」「ちょっと頑張ってみるか」と、たまたまこの記事を見かけた方に少しでも思っていただけるとよいなと思っております。
みなさんだったらどうしますか？
せっかくなので、お時間あれば、みなさんだったらこんなときどうするか、少し考えてみていただけたらと思います。
ゴール：学校領域における2023年4月時点の新規のARRの着地見込を立てよ
今は2022年です
Monoxerを本格的に学校様にご案内し始めてから1.5年ほど経過したタイミングです
学校様は生徒の入学が基本的には4月に集中するので、何かを新規導入するタイミングは4月である場合がほとんどです。そのため、7月や10月に売上が立つことは基本的には無く、春～夏にかけてご案内を開始し、冬ごろに意思決定いただき、4月から一気にご利用を開始いただきます（＝ARR（売上）が計上されるタイミングです）
つまり、年度途中に最終的な結果とアクションを関連づけてPDCAを回すことの難易度は比較的高い状態です（このペースでいけば●円くらいで着地しそうだね、とはならない）
また、過去のデータも1.5年分しか存在せず、最終的な結果が出た（ARRが計上された）のは2回のみです。そして、最初の半年分についてはデータが十分ではありません。
さらに、学校領域の中でも2021年と比較してご案内するセグメント（私立高校とか私立小学校とかの単位）のバラエティが拡大していますので、意思決定プロセスや予算の所在など、知り得ていないことが多く存在します。
つまり、手元に十分な情報が無く、結果指標を年度途中で得ることが難しい中で、商談フェーズ等の中間指標を手掛かりにしながら最終着地を定めにいくことになります。
自分はどうしたか？
上記のとおり、年度の途中で例えば第1四半期の受注率は●●％で、第2四半期の受注率は××%で、なので今のパイプラインを考慮するとこのままいくと…と考えることはできません。なぜなら受注というイベントがその時期には発生しないためです。そのため、年度途中において、その延長線で最終的な着地見込を立てることはできません。
また、当然昨年度以前のデータは使用するのですが、十分な質・量ではありません。
そこで自分が行ったことは非常にシンプルでして、
とにかく複数の着地見込の算出方法を試みて、「だいたいこのへん」という幅を推定しにいく
ということでした。
簡単ではありますが、ひとつひとつ思い出しながらご紹介できればと思います。
なお、一気に複数の方法を試みたというよりは、それぞれの算出モデルが「活きやすい時期」がありましたので、走りながら徐々に追加したりやめたりしておりました。
Model A
特に算出モデルに名前があるわけではないので、設計した順番にA～Fで書いていけたらと思います。
まずModel A。これはなんというか、モニタリングの黎明、石器を使い始めたくらいに捉えて頂ければと思います。
セールスフォース社が有名ですが、SaaSに限らず多くの企業様では商談の進捗管理にフェーズという概念を用いています。弊社でもいくつか商談の状態に応じてフェーズを用いており、Model Aでは、いつまでにどのフェーズにいれば、そこからの受注率は●％であったという昨年度の事実をベースに、各セグメントごとに、週次のフェーズ到達目標数を設定しました。一方で、この年にはこれまではご案内してこなかったセグメントにもアプローチを開始しておりましたので、そのセグメントに対しては、いくつか商談を実施した後の肌感覚をベースに●％の部分を調整し、各フェーズの必要な到達数を推定していました。
Model Aは非常にシンプルかつそれ自体の考え方は妥当性がありつつも、
獲得マーケットの進行に伴うCVR（受注率）の変化を捉えられていない ※イノベーター→アーリーアダプター層との接点が増えるにつれてCVRには下向きのプレッシャーがかかる
金額ベースでの着地見込は分からない
などの論点はあり、別の方法を探る旅に出ることになりました。
Model B
フェーズを前に進めるには、必ず時間がかかります。1日かもしれないし10日かもしれないし50日かもしれません。つまり、フェーズ1->フェーズ2の正味のCVRを求めるにあたって、フェーズ2の案件数／フェーズ1の案件数で求めるのは正しくなく、もし平均的にフェーズ1から離脱する（フェーズ2以降に移行する、または失注する）までに30日かかるのであれば、フェーズ2の案件数／30日前のフェーズ1の案件数で求める方がより確からしく実態に近い情報を掴むことができます（もちろん、昨年と今年を比較するような相対的な使い方をする場合には、シンプルにフェーズ2の案件数／フェーズ1の案件数で比較しても問題ないと思います。ただし、このときに今年の方が悪化している場合には、移行に時間を要しているのか、正味のCVRが悪化しているのかは切り分けて原因を特定する必要があります）。
Model Bでは、上記のような正味のCVR算出ロジックを用いて、最終的な受注率の見込値を推定することにしました（すなわち、フェーズ1->フェーズ2の正味CVR×フェーズ2->フェーズ3の正味CVR×・・・的な感じです）。冒頭でお伝えしたとおり、4月に向けてフェーズが徐々に進んでいきますので、受注に近いフェーズを中心に、ある程度のタイミングにならないと一向に件数が増えないフェーズもあったりしますので、その部分においては「●月までは目標のフェーズCVRで代替する」ようなかたちをとっていました。
また、Salesforceにて提案金額とARPAの見込も管理していたため、商談数×上記により算出した受注率の見込値×ARPAの見込値により、ARRの推定値を求めていました。
しかし、この方法にも当然課題があり、
見込みのない案件でも失注させずに滞留させた場合、フェーズの移行期間が伸びてしまい、フェーズCVRが過大評価される危険性がある
上位フェーズが積みあがるタイミングまでは、その部分のフェーズCVRは目標値で代替していたが、いざ算入するタイミングが到来したときに実態が上振れ/下振れしていた場合、急に着地ヨミを大幅修正する必要が発生し得る
などです。
2点目はもちろん目標値以外の数字で代替することもあり得ましたが、正解はなく悩みながら判断した記憶があります。
そして1点目は、CRM（Salesforce）を正しい状態にしておくことが、事業状態のモニタリングとビジネスジャッジに対してもいかにインパクトがあるか、ここからもよく分かるものだなあと思います。
Model C
すいません、詳細はあまり憶えておりません。
そして、当時の資料をみても十分には思い出せません。
簡単にいうとModel Bをセグメントごとにもう少し細かく行ったことに加え、Salesforceのフェーズや提案金額といった準客観指標をそのまま用いるのではなく、そこに対して定性的な情報を用いた補正を行ったものだったと思います。
Model Bをより細かく、でいいますと、セグメントごとの差異について十分に明確な解像度を持っていなかったこともあり全部一緒くたに行っていたのですが、それをセグメントごとに細分化して行うようになりました。
そして、商談数の最終的な着地見込（これは当時自分がBDRでの商談創出も管轄しておりましたので比較的高い解像度で認識しておくことができました）やARPA（この人はコンサバに入力しがちだな、この人はけっこうアグレッシブだな、ということがSalesメンバーと頻繁にコミュニケーションをとっていると分かってきます）に若干の補正を加えて算出していました。
最終的には2023年4月のARRについて、見込んでいた数字と実態の差分を答え合わせできたのですが、Model Cの方がModel Bよりも60％ほどパフォーマンスは高かったです。
しかし、やはり自分の主観を込めたヨミ方だったので、常にModel Bと併用してボードへの報告などには用いていました。
Model D
上記のModelそれぞれでメリット・デメリットはありましたが、正味のフェーズCVR（あるフェーズ->次のフェーズへの移行率）を走りながら捉えることが難しいことが明確に課題として存在していました。
特定のフェーズが積み上がりやすい時期があり、その時期が終わってから振り返ればフェーズCVRこのくらいだったねとある程度分かるのですが、その渦中にいるときに正しく認識することが非常に難しいという課題です。
そのため、いったん「率」の話から脱却しようとしたのがModel Dです。
Model Dを考え始めたのは10月ごろでしたが、そのタイミングで前年度と当年度の商談進捗の共通点を1つ発見しました。
それは、「傾きは異なる（つまりフェーズCVRは異なる）ものの、各フェーズ、線形的にフェーズ到達件数が推移する時期があり、その時期は概ね同一」であるということです。
つまり、特定のフェーズに上がってくる案件数が二次関数的（Y=aX^2）な時期もあれば、Y=logaX(a>1)的に徐々に落ち着いてくる時期もあり、そしてその中間にY=aXというリニアな推移をする時期があるということです。また、aの値は比較した2つの年度で異なるものの、ある時期に線形的に推移をするという事実は変わらなそうでした。
そのため、線形推移期に移行したことをなんとか掴むことができれば、走りながらでも、凡そ特定フェーズに上がってきた案件数がいつ頃に（対数的な増加を示し始める前頃に）どのくらいになりそうかが推定できます。
というわけで、受注というイベントの先行指標となる特定フェーズに、未来のとある時点でどれくらいの数（率ではなく実数であるということがミソ）が到達しそうかということが分かったのは大きな進歩だったのですが、とはいえ、そこから受注に至るまでのCVRはやはりなんらかの手段で推定する必要はあり、Model Dもそこがボラを生む要因となってしまいました。
もちろん個別性はありつつも、各学校様概ね同様の意思決定スケジュールを進まれるのと、（少なくとも平均的には）それが年度によって大きく変わることはなさそうですので、上記のとおりのフェーズの件数推移を複数年度において共通して示すことは振り返ってみると当たり前のようにも思います。が、「率」という概念に悩まされていた自分にとっては、それを打ち破る大きな一歩だったなと記憶しています。
Model E
これは「これ以下ではないだろう」という着地のボトムラインを特定することに主に寄与した方法です。
ここはあまり憶えていないModel第2弾ですのでさらっと書きます。
簡単にいうと、
特定のロジックに基づいて案件の確度を「高」「中」「低」的なかたちで自動的に求める
各メンバーは、その確度を引き下げることはできるが、引き上げることはできない
確度「高」「中」「低」はそれぞれ、前年度のデータに基づく掛け率を持っている
というものになりますので、比較的シンプルに、各案件の金額×掛け率をΣして算出した着地見込の出し方かなと思います。
一方で、前年度のデータに基づくと書きつつも、一定掛け率は仮説の度合いが強かったことや、あくまでボトムラインの特定に寄与するものであり、「一番あり得る水準」はここからは推定できないという欠点はありました（それを補うために複数の出し方を行っているので、欠点があるのは当然ではありますが）。
そして、Model Eで出し始めた頃には師走も終わり。
年を明けて最後のModel Fが登場します。
Model F
Model Fは答え合わせまであと3か月という1月から用いた方法です。
このタイミングでは、それ以前のすべての算出方法は廃止し、Model F単体でConservative／Base／Aggressiveの3段階の見込みを立てていました。
Model Fでは、「主観確度」と「客観確度」という2つの確度を用います。
主観確度はその名のとおり、各Sales担当が主観で受注に至る割合はこのくらいなのではないかと思うパーセンテージです。
ここまでのModelでは、一般的に「ヨミ」と言われるような、各自が自分の案件に対してつける確度は着地見込の算出には用いてきませんでした。なぜなら、受注までに時間的な距離があり、その過程でヨミがぶれる可能性が大きかったためです。
しかし、受注というイベントが発生する3か月前であれば、主観確度の妥当性も十分に確からしいものと思われたので、この時期からはそれを着地見込の中心に据えるようになりました。
そして客観確度については、これもその名のとおり、商談の状況に応じて自動的につけられる確度になります。Model Eでも客観確度は存在していましたが、そちらはあくまで「高」「中」「低」レベルの水準だったのに対し、Model Fにおける客観確度は、62％のように1%単位で数値を算出するものです。
これは定量分析によって算出しています。
その前年度の商談活動が概ね完了したタイミングで、「受注または失注に対して影響を及ぼすのではないか」と仮説立てられたアクションや事象について全案件をSales担当のみなさんに振り返って該当するか否かをチェックいただいていました。それやSalesforceから読み取れる情報をもとに、ロジスティック回帰分析を行うことで、何のイベントやアクションが受注に対して影響するのか、また、それを行うことにより受注確率は何％上昇するのかを特定しています。
これを特定できているのであれば初めからそれで受注率を推定すればよいのではないかと言われるとそのとおりではあるのですが、これはつまり、Salesメンバーのみなさんに「あるアクションを取ったら、Salesforceのこの項目に必ずチェックをしてください」という項目を複数用意し、オペレーションを回す必要があります。
しかし、市場の特性上、夏～秋前ごろに各担当が保有する案件数は最大となり、そこから徐々に見込の高い案件に絞られていく（4月に向けて保有件数が縮小していく）ことになりますので、想定される負荷量からも、秋の終わり頃まではこのオペレーションを動かすことは困難でした。
これにより、主観・客観の2つの確度が各案件に付いていくわけですが、それをもとに、
を用いて各案件の受注率見込を算出しました（理由は割愛）。
そして、ここからは完全に自分の哲学が表に出てしまうのですが…
Model Eでもやってはいるのですが、自分は、「提案金額100万円の案件の受注確度が30%だから、100万円×30%=30万円でヨミを立てよう」というような考え方が好きではありません。
理由は単純で、もちろん受注金額が最終的に上下することはありますが、そのお客様とのその瞬間のお付き合いとしては「受注するか、失注するか」のゼロイチの話であり、30％だけ受注しましたということはあり得ないためです。
そこで自分が行った処理は、
たとえば確度が30％と見込まれる案件であれば、正十面体のうち3面が「1」、7面が「0」と書かれたサイコロを用意する
同じく、確度が80％と見込まれる案件であれば、正十面体のうち8面が「1」、2面が「0」と書かれたサイコロを持つこととする
各案件（例えば300案件）がそれぞれ固有のサイコロを持っており、それを一斉に転がすことにより、疑似的に全案件の受失注（1か0か）が決定する。サイコロで「1」が出た案件の金額の合計が最終的な受注金額である
この処理を100万回繰り返す（もちろんすべてコンピュータ上でです）
すると、合計値の分布は正規分布に近似する
たとえば、Conservativeな受注率を持たせて上記の処理を行って求められた分布について、一定の信頼区間の下限値を、着地見込におけるConservative値とする
Aggressiveな受注率を持たせて上記の処理を行って求められた分布について、一定の信頼区間の上限値を、着地見込におけるAggressive値とする
といったものになります。
シンプルに4月までに時期的に近かったということもありますが、この方法は最終的な実績値に対して正確性はかなり高いものでした。
ちなみにこの方法、結局のところ、「提案金額100万円の案件の受注確度が30%だから、100万円×30%=30万円でヨミを立てよう」の方法で全案件算出をして合計したものに近い数字になります。
薄々そんな気はしておりましたが、おそらく多くの営業組織で行われているであろうこの「ヨミ」の出し方は、単純かつ低コストながら、許容できる水準の正確性があるために使い続けられているのでしょうし、それを確認する良い機会となったなあ（小並感）という感じでした。
（後日談ですが、この記事の下書きを書いた後、この手法はブートストラップ法と呼ばれ、この方法で得たサンプルの平均の期待値は元の分布の期待値（「ヨミを立てよう」として行われている計算）と一致すると弊社のデータサイエンティスト大橋さんから教えて頂きました）。
とはいえ、ある程度の分母（案件数）を担保できる組織全体としては一定正しいラインに収束していくのではないかと思うのですが、個人の着地見込をはかるうえでは、この算出方法のみに「ヨミ」を頼るのは危険なのではないかという思いもあります。マネージャーと各案件をすり合わせながら、コミットできる水準・最もあり得る水準・ベストな水準を認識し、目標とのGAPをどのようなアクションにより埋めるのか、いつ時点でその効果が認められなければアクションを変更するのか、といったコミュニケーションをとるべきと考えていますし、自社の商談サイクルに依るところが大きいですが、受注から逆算したときに、いつ、どの程度その確度が正確なものになるかは認識したうえで活用したいものだと思います。
見えないものを見ようとして、望遠鏡を作り込んだ
自分たちが新規にどの程度お客様に価値をお届けできているかを推定するために、結局本運用に回さなかったものを含めると、おそらく10以上の方法は試したのではないかと思います。
その望遠鏡が見えていたのか、見えていなかったのか、それは最後にならないと分からない類のものではありましたが、よく見えているものもあれば、見えていないものもあれば、様々でした。
が、そこで自分なりに考えて構築したModelそのもの以上に、そこで得た経験が、それ以降の自分のPlanningとしての感覚を磨くうえで貴重なものだったと思います。
第一に、今年度は昨年度に比べて、めちゃくちゃよく見える望遠鏡を作れていると思います（答え合わせが最後に一気に行われるマーケットなので、実は全然見えていない説もまだありますが。強い気持ちで。）
昨年度のあらゆるModelの何とも似ていない方法で取り組んでいますが、昨年度の試行錯誤の過程で、役立つか分からないものも含めてとにかくデータを集めていたことが奏功しています。データドリブン。
第二に、すごく当たり前の話ではありますが、答えはお客様が持っている（ことが多い）ということを再認識する1年間となりました。そしてそれは、お客様と接し続けているSales、CSメンバーの声や肌感覚がとても重要ということでもあります。なぜこの時期は物事が進みにくいか、なぜこのセグメントのコンバージョンはよいのか、それは他にも転用できるのか、なぜプロダクトを届けることができないか、などなど。
数字を見て引っかかるポイントがあればみなさんの話を聞いて解像度をあげる必要がありますし、逆に多数の定性的な情報を頂いても、それは定量的に確からしさを確認することにより、より正確な現状認識と打ち手の判断が可能になります。そのバランス感覚の大事さを学ぶ機会になりましたし、これからも自分のキャリアの柱のひとつとしてその感性は据えていけたらなと思います。
第三に、フォーカスすることついて。これは見えないものに対し、明確に影響を与える因子（KPI）を特定できたあとの話ではありますが、その特定はデータをフル活用して臨む必要がありますが、いつ・どのKPIを・どれくらい達成する必要があるのかが決まった場合には、もはやそのアクションにおいては、脳筋ドリブン（？）でリソースを割いてフォーカスしていく覚悟と割り切りとやり切りが重要であると学びました。
実際にアクションを行っていただくのはSalesやCSのメンバーになることが多いので、Planningとしてはその盛り上げや、そのアクションによって何か脆くなっているポイントがないかに目を光らせることに重きを置く必要がありますね。
日々圧倒的な行動量をたずさえ、試行錯誤しながら貴重な情報やナレッジを広く共有いただけるSales、CSのみなさんに本当に感謝です。
データドリブンと脳筋ドリブンのバランス。大事にしたい。
私たちはなぜ目標を達成しようとしているのか
最後に、上記のとおり見えないものを見ようとしたわけですが、それはなぜかと言うと、そこに目標があるからです。目標と現状（着地がどうなりそうか）にGAPがある場合に、そのGAPを埋めるためのアクションが必要になるため、そこで最終的にどうなりそうなんやという情報が必要なわけです。
そのGAPを正しく認識するために、望遠鏡の性能を上げていくことも当然重要ではあるのですが、なぜこの目標を私たちは達成しなければならないのかということについて、思いを馳せ続けたいですし、自分なりの哲学は持っていたいと思っています。
自分の考え方なので、プライベートな状況や所属する企業のフェーズによって可変的なものではあると思いますが、現時点では、目標はミッションのKPIであるという考え方で生きていくのが一番しっくりときています。
KPIを特定できた際にはその達成に一意専心になりたいよねという趣旨のことを上で記載しておりましたが、目標自体がミッションに対するKPIになり得るため、当然そこに向けてまっすぐに向き合っていきたいと思っていますし、それが難しい場合には、デリバリーの仕方・プロダクト・組織…あらゆる観点で真摯に向き合う組織で引き続きあれたらと思いますし、個人としてもそうありたいと思います。
一方で、上位概念としてのミッションですので、目標がKPIとして機能しているか（何を目標とするか、目標の水準は適切か）ということについても考え抜く必要があります。
『目標はセンス、戦術は頭脳、実行は気合。』と藤田晋さんもおっしゃっておりますが（最近教えてもらった知識を早速使うスタイル）、個人的にはそのセンスももっと磨いていきたいですし、モノグサの素敵なみなさんとこれからもどのようにMonoxerを全国に世界にお届けするか、向き合い続ける日々を楽しむことができたらと思います。
そして、そのミッションを実現していくために、モノグサ株式会社では一緒に働く仲間を募集しています！
少しでも興味を持ってくださった方は、お気軽にご連絡くださいー！