見出し画像

OpenAI o1でビジネス仮説検証速度を1000倍に — あらゆる問題を数理モデルで解決する時代へ

先日リリースされたOpenAI最新モデルo1-previewを使ったことで業務負荷が10〜1000倍改善される革命的な変化を実感したため、noteにまとめました。

英語版はこちら

ビジネス仮説の検証は難しい

ビジネス仮説を思いつく時はよくあると思います。しかしそれを検証するのは本当に大変です。以下のような問題に心当たりはありませんか?

  • 市場分析: 新しいサービスが成功するかどうか判断するために、データの収集や分析に時間がかかりすぎる。

  • プロダクト開発: 将来の市場トレンドや需要を正確に予測する方法がわからない。

  • 組織内の問題の根本原因を特定するのに時間がかかりすぎる。

  • 成長予測を行いたいが、新興市場には参考にできる過去のデータが少ない。

  • 戦略の実行可能性を検証したいが、十分なリソースがなく、徹底した分析ができない。

  • ビジネスプランの見直しをしたいが、将来の収益や資本の見通しに苦戦している。

これらの仮説をもっと早く、簡単に検証できたら素晴らしいと思いませんか?

革命的なOpenAI o1の活用

OpenAI o1-previewは、数理モデルを活用して、仮説検証のプロセスを劇的に変革します。以前は数週間、あるいは数ヶ月かかっていた作業が、今ではほんの数分で完了するようになりました。

私自身、このモデルを使用することで、仮説検証のスピードが10倍から1000倍に改善されたと実感しています。まさに革命的です。

百聞は一見に如かず。

私が普段行っている4つのステップを基に、o1-previewをどのように活用したかを示す、7つの一般化されたケーススタディを用意しました。

  1. 歴史の研究

  2. 現状の分析

  3. 未来の予測

  4. 戦略の蓋然性を確かめる

【注意】
一般化されたケーススタディではプロンプトのチューニングや詳細なファクトデータを考慮していません。したがって出力される精度は低いです。このあと、様々なインサイトを発見する様子が書かれますが、現実と乖離している可能性が高い点にご注意下さい。あくまでo1活用の雰囲気を掴んで頂くことが目的です。

1. 歴史の研究

Case Study 1: SaaS市場の成功要因を探る

あなたは日本の大手SIer企業のリサーチチームの担当者です。この企業では売り切り型のCRMツールを提供しています。最近盛り上がっているSaaSモデルがなぜ成長しているのか、成功要因は何かを調査するよう指示を受けました。

「当社も売り切り型から、リカーリングモデル(SaaS・サブスクリプション)に移行すべきか?」

という質問に答えを出さなければなりません。

あなたはリサーチ担当者として、直感的にはサブスクリプションモデルの方が優れていると感じていますが、SIerとしての当社が変化すべきか確信が持てません。

そこで、売り切り型からサブスクリプションモデルに移行し、CRM市場シェアNo.1に輝いたSalesforceの歴史を研究することにしました。

どのように研究を進めますか?

書籍やネット記事を集めますか?

そんなときは、o1に、「計量経済モデルを定義し、Salesforceがシェアを奪った理由を解明せよ」と指示を出してみましょう。

すると次のように計量経済モデルを定義し、変数を考案してくれました。何やらそれらしい変数が並んでいます。

変数定義が完了したら、初期値を仮定して入れてくれています。

そして、シミュレーション計算結果を踏まえた考察が出力されました。

サブスクリプションビジネスにシフトした方が良いと思っていましたが、それを説明するロジックが思いつきませんでした。

しかしこの結果を見ることで「なるほど!たしかに5. 価格戦略にあるように、オンプレとサブスクリプションでは圧倒的にサブスクが安く、手軽に辞められる。その結果、幅広い顧客層を惹きつけられる構造になっているのか!」と、

一つのサブスク有力説の手がかりが見つかりました。

しかも驚くべきは、ここまで5分程度しかかかっていないということです。一瞬で手がかりを得ることが出来ました。

しかし、書いてあることが少し抽象的で腑に落ちませんよね。そこで次のステップで精度を高めていきます。

Case 2: 文脈情報を加えたシミュレーション精度向上

Salesforceは歴史ある企業で、多くの歴史的文献やネット記事が存在します。成功の理由については、さまざまな参考情報が得られます。そのため、実際の成功事例に基づいたモデルを作成することで、精度が向上するでしょう。o1の優れた点は、数理問題と文脈情報をうまく組み合わせられるところです。

参考までに、私が過去に行ったカスタマーサクセスの歴史研究の情報をインプットさせてみましょう。

※この研究は、カスタマーサクセス市場で新規サービスを企画・開発した際に、実際に実施したものです。カスタマーサクセス市場の市場構造の把握に役立てました。

次のように文脈を渡してGPTに指示を投げるだけです。

カスタマーサクセスの歴史と、その中でSalesforceがどのように成功を収めたのかを考慮し、成功要因を踏まえた計量経済モデルを再構築します。

すると独立変数には、カスタマーサクセス施策の効果(CSPractices)が追加されました。カスタマーサクセスに取り組むことで、どれほどの効果が得られるのか?気になります。

計算結果が出ました。

カスタマーサクセスに取り組んだことで、解約率が大幅に改善できたようです。

SIerの上司から「カスタマーサクセスはいいんだけど、本当に投資対効果はあるの?」と言われていたあなたは、また一つロジックの手がかりを得ました。

カスタマーサクセスは解約防止、すなわち売上に直結する。しかも複利でじわじわと効果を発揮する。疑問が確信に変わる、手がかりを手に入れました。

2. 現状の分析

Case 3: 自社の市場における立ち位置の分析

次のケースです。あなたは大手企業のSNSサービスを運営しているマーケターです。このSNSサービスはテキストベースのコミュニケーションを提供し、大きな市場シェアを誇っています。しかし、市場の競争は激しく、いつシェアを失うか分かりません。その中で、急成長している動画プラットフォームTikTokが市場シェアを狙っています。

社内のデータサイエンティストから、リテンションレートを確率モデルで表現できる手法は聞いていました。しかし、高度な数学の知識は持っていないため、知識にとどまっています。

手元には、競合と自社の両方のリサーチデータがあります。

ではo1で、次のように論文名を添付し、リサーチデータを投げ、市場構造の分析を指示してみましょう。

※smapleデータを私たため出力画面はなし

この論文は以前私がリテンションレートを確率モデルでシミュレーションした時に参考にした論文でした。

過去に私が1週間以上かけて分析したインサイトと、ほぼ同じインサイトが、たったの数分で出力されました。

正直これには驚かされました。

しかもo1ならモデルの中身まで知らなくて問題ありません。知らないこともわかりやすく解説してくれるからです。

分析結果の可視化イメージ
「確率モデルで解き明かすリテンションレートとチャーンレートの本質」より抜粋

このnoteの末尾に「参考文献欄」があります。そこに記載された論文リストをo1に渡して指示するだけでも良いかもしれません。

Case 4: 組織メンバーへの大規模インタビューを通じた根本原因の特定

次のケースです。あなたは大手自動車メーカーで新商品の開発から生産、流通までを担当しています。

自動車製造では、事前に生産計画を立て、工場の稼働状況を確保し、サプライチェーンに部品を製造してもらい、その後ようやく組み立て開始できるため、スタートアップ業界のように簡単に手戻りすることはできません。しかし、EV化の波が迫る中で、革新的な商品開発が求められます。

企画部門は迅速に価値をアジャイルに検証したいと考える一方で、開発部門は入念にウォーターフォール方式で進めたいと主張しています。

このため、両部門の折り合いがつかず、組織内でさまざまな問題が発生しています。あなたは一度、各ステークホルダーにヒアリングを行い、全体的にどのような問題が起こっているのかを把握し、それを議事録にまとめました。

議事録を読むと、多方面でさまざまな問題が発生している事がわかりました。

しかし、問題が別の問題を生み、その問題がさらに別の問題を生むという、その問題の連鎖が複雑に絡み合っている事が分かりました。

いったいどの問題から手をつけるべきか…。分からず困っています。

このような問題は複雑系の問題と呼ばれます。複雑に絡み合った事象が相互に影響及ぼし合っています。そのため1つの問題からありとあらゆる問題に波及してしまうようなキーファクターとなる根本原因を特定する必要があります。

【参考】このような相互作用の問題を解く手法として「システム思考」が有名です。またRoot Cause分析やなぜなぜ分析もこれに類するアプローチだと言われています。

例えばコミュニティは相互作用の問題を抱えているため「システム思考」との相性が良いです。
「コミュニティの構造・戦略・KPI・あるいはネットワークについて」より抜粋


そこで、次のように進めてみましょう。これは相互作用システムの問題ですので、「システム思考」のアプローチを用いて計算問題としてシミュレーションしてもらいます。

【補足】難解なプロンプトのため補足解説します。相互に作用し合っている問題1, 問題2, 問題3,,,問題mをそれぞれ「バスタブ1」「バスタブ2」…「バスタブm」と「水が貯まる箱」として定義しておきます。例えば「バスタブ1(問題1)」に問題が発生し水が増えると、他のバスタブに問題が波及し「バスタブ4(問題)」、「バスタブ7(問題)」、「バスタブ9(問題)」の水が増えると捉えることが出来ます。同様に「バスタブ2」の水が増えると、バスタブx、バスタブy、バスタブzが増える。。といった具合に、そのバスタブとバスタブの蛇口の繋がり方、さらには蛇口の締め具合をそれぞれ定義しておくのです。最後に全てのバスタブをつなぎ合わせて水を流してみましょう。そうするとシミュレーションの結果、「バスタブ4(問題4)」の水が増えると、様々な問題に波及効果が生じ、様々なバスタブの水が急増する。だから「バスタブ4(問題4)」が根本原因だ。キーファクターだ。と見つけることができるのです。このような根本原因特定は、水の流れと水の蓄積が時間変化ごとにどう変化するかを「バスタブが相互に繋がりあった『システム』である」と捉えて計算することで可能になります。従って、AIにシステムの数理問題として認識してもらうためにも、あらかじめ議事録から得られた問題リストを「バスタブ(状態変数S)」として下準備しているのです。数理モデル的にはそのバスタブの時間的な変化を「微分方程式」で表現します。これにより相互作用の複雑な問題が「数理問題として」解くことが可能になってしまうのです。あまりにも革命的です。

※事前にインタビュー議事録からデータを切片化して、問題事象を「状態変数S」として用意しておきます。
※それぞれの事象(S)を個別のシステムとして、システム間の情報の受け渡しの時間的な流れを微分方程式で定義し、計算問題を解いていきます

結果が出力され、見えてきました。

さまざまな問題が発生する中で、特に根本的な要因は「部門間の連携不足」でした。このシミュレーション結果によると、部門間の連携がうまくいかないと、開発プロセスの効率が低下し、開発リソースの優先順位も適切に設定できなくなるようです。

確かにそう言われると、思い当たる節があり、納得できます。あなたはまずこの問題を提起し、解決に向けて動くことを決めました。

3. 未来の予測

Case 5: 新興市場の成長予測

あなたは、アーリーフェーズの人材系スタートアップでスポットワーク市場に参入しようとしているCMOです。スポットワーク市場は、タイミー、メルカリといった先行者が市場を独占しているように見えます。しかし、あなたはスポットワークが巨大な市場に成長するとそれなりに高い解像度で未来を信じられています。

しかし、投資家からは「今から参入しても無理ではないか?」と指摘されています。

将来的な市場規模と勝てる見込みを論理的に説明し、資金調達を達成しなければなりません。

しかし、それをうまく説明するロジックが不足しています。特に新しい成長市場であるため、既存の事例を用いた説明は困難だからです。

そこであなたはスポットワーク市場の10年後の市場規模を未来予測することにしました。

中長期的な未来なので、現実の数字をベースに考えるよりも、人文学的アプローチ(= 技術的、社会的、経済的、文化的背景や、消費者ニーズの観点からの考察)を用いて、大局的な目線で10年後の社会の行く末のイメージをバックキャストする手法が適切であると考えました。

さらに最近話題になっている「科学的経験則に基づく確率論的マーケティングモデル」を使って論理性を持たせたいと考えました。

次のようにo1に投げ、人文学的かつ科学的な市場構造モデルを組み上げ、市場規模を予測してみました。

さてモデルとしてはNBD-ディリクレモデルが選ばれました。これは「確率思考の戦略論」や「アレンバーグ・バス研究所」で知られる有名なマーケティングの市場規模を説明するモデルです。(※有名ですが、使いなすには高度な数学が求められ、実用できる企業はごく少数に留まっていました。…)

※他サービスのシェアフル、LINEスキマニ、ショットワークス等が抜けていることが分かると思います。正しい初期条件や正しいデータ、正しい文脈を入れる重要性が示唆されます。

結果が出ました。

スポットワーク市場が10年後に4000億円市場に成長することが分かり、普段CMOの考えるバックキャストした未来予測と日々活動で感じている肌感覚と一致する数字が得られ、自信につながりました。

しかしこれはあくまで人文学的バックキャスト型未来予測です。念の為、現在の市場をカテゴリレレベルでも把握しておきましょう。アルバイト市場とスポットワーク市場を1つの市場に見立てて、現在の市場シェアをNBD-ディリクレモデルを使って確認してもらいます。

※あくまでダミーデータで仮定しています

このように現在のアルバイト&スポットワーク市場の状態を可視化出来ました。

さらには各ブランド感でどの程度顧客基盤を共有しあっているのかも確認してみましょう。

※ダミーデータで仮定しています

市場の状態がわかり、アルバイト市場が現在9000億円であることを踏まえると、スポットワーク市場が10年後に4000億円市場に成長することも納得感が持てます。

その後も、様々な角度で検証を重ねていき、このおかげで投資家への説明ロジックの手がかりも見つかりました。

4. 戦略の蓋然性を確かめる

Case 6: 感度分析で戦略の検証

CMOとしてスポットワーク市場を攻略するには、まず急いでデジタルマーケティング施策に取り組むべきなでしょうか?

いいえ。まず市場構造に基づいて市場の攻略条件を見極め、勝てる戦いであることを確認してから挑む事が大切です。また、競合他社が先行しているため、どの順番で戦略を展開すれば市場を攻略できるかを考え、その道筋を明確にする必要があります。

必要条件は、ある程度頭の中でイメージは持てていましたが、見落としがないか不安になりました。

市場の攻略条件がすべて把握するため、条件をパラメータ化し、感度分析を行って市場戦略の確からしさを確認することにしました。

市場攻略に必要な条件が変数化されました。

計算結果が出力され、最終的に、戦略の実行計画まで策定してくれています。

エンドユーザーとクライアントの獲得する重要性は理解していました。

しかし、この分析のお陰で「信頼性とコンプライアンス強化」については完全に軽視していたことに気づきました。

このおかげでどの順序でリソースを投下ししていけばよいか、戦略のイメージがつかめ、投資家への説得材料がまた増えました。

Case 7: 事業収支計画書をアップデートする

さて、もともとSpread Sheet(Excel)で作成していた事業収支計画書は、10年後に300億円の売上を目指す計画でした。

スポットワーク市場はネットワーク効果が働く領域です。「多くの企業が使うからユーザーも集まる。多くのユーザーが使うから企業が集まる。」という好循環が回りやすい市場のため、1〜3社が総取りするリスクが考えられます。

どうにか頑張って10年後に1000億円の売上規模(シェア25%程度)を目指せないだろうか。

事業計画書をアップデートすることにしました。また10年後に1000億円を目指す場合、どのシリーズでいくらの資金調達が必要になるのか見越しておきたいと考えました。

Spread SheetのExcelをCSV化し、テキストに貼り付け10年後売上が1000億円になるように修正してもらいました。またそこに向けた事業戦略や財務戦略を提案してもらうことにしました。

※ダミーデータを投げています

まずは正しく現状の事業計画数値を理解してもらえたようです。

さらに資金調達計画も提案してくれました。

変更すべき戦略についても教えてくれます。

最後にチャレンジングな10年後1000億円目標の事業収支計画書も出力されました。

これらの取り組みにより、CMOは、市場構造、現状の立ち位置、事象戦略、そして事業計画のたたき台を一瞬で作成することができました。これをもとにまずは投資家と会話し、順次戦略展開していくことにしました。

最後に

以上、いかがでしたでしょうか。

これまで、アイディアがひらめいても、このように高度な数理モデルで蓋然性を確認していくやり方は、不可能でした。

ある意味で数理モデルが民主化されたことで、従来1ヵ月以上かかるような分析をたった5分で完了させることができなり衝撃です。

【参考】NASAの研究者が博士課程で1年かけて作成したコーディング作業をo1がたったの1時間で完成させた事で、世界に衝撃が広がっています。本人が衝撃する様子が5分程度の動画で上がっています。ぜひご覧ください。「10〜1000倍の効果」というのも、あながち間違っていないようです。
https://youtu.be/M9YOO7N5jF8?si=IL1C2idPC-4PEcJp

また数式の意味がわからなくても問題ありません。私も数学は苦手です。モデルの数式の意味はOpenAI(o1, 4o)に聞けば丁寧に教えてくれます。

抽象的な仮説や未来に対する直感は突然浮かぶことがありますが、それが正しいかどうかを検証するには多くの労力が必要です。o1を使用すれば、数分でその確からしさを確認できます。

閃きを瞬時に確信に変える。

その可能性を感じました。

雑感

  • OpenAI-o1-previewの最大の素晴らしさは、文脈情報や仮説、社内会議の議事録、ユーザインタビューの記録を提供することで、文脈を反映した数理モデルを作成してくれる点であると感じました。例えば、強く確信している仮説がある場合、その文脈情報をすべて入力することで、自分の頭の中にある脳内モデルを忠実に再現する計量モデルが生まれます。感度分析を通じて戦略オプションを検討すると、実際にはA→B→Cの順よりもA→C→Bの順で問題を解決する方が良いことがシミュレーション結果から明らかになり、高い解像度に納得感を得て驚きました。

  • また、o1は文章問題が苦手なことも知られています。そのため、可能な限り数理問題として定義する必要がありました。例えば、Case4の組織分析の相互作用モデルを解く際、議事録をそのまま渡すと文章問題として処理されてしまうようでした。事前に議事録を状態変数Sリストに変換して準備することで、システム最適化問題(微分方程式、SD-Model、SEMなど)として計算できるようになりました。

    • 実際このような「数理問題化する作業」を人間がやることは困難なので、複数のLLMを利用しました。1. 人間が問題をLLMaに相談→2. LLMbが問題の種類判別し適切な解析手法を提案→3. LLMcがその解析手法を用いた数理問題を作成→4. LLMd(o1)で数理問題を解く→5. LLMe(4o)が計算結果をわかりやすく解説する。ような手順も自力で踏みました。(今後はこのようなLLMワークフローが重要になりそうですね)

  • また、AIを信じぬく心構えも重要でした。必ず素晴らしいアウトプットを出せると信じ抜いて、テクニックを用いて繰り返し要求する、つまりプロンプトエンジニアリングが4oよりも強く求められると感じました。

    • おそらくある程度抽象化され、構造化されていないと、数理問題として認識されづらいからでしょう。

    • 満足のいかない結果が返ってきたときに、「君は天才!絶対できる!」や「20点です。やり直し(深津さん式?パワハラプロンプト)」、さらには「もっとXXな文脈に焦点を当てて」といったやり取りを繰り返すことで、精度が飛躍的に向上しますが、途中で諦めると、現実を反映しないシミュレーションに落ち着きます。AIの可能性を信じ抜けるか?が問われそうです。

  • またo1のシミュレーション結果を4oに解説してもらい、仮説に変更が生じたらo1で異なるシミュレーションをしてもらうことも繰り返しました。o1↔︎4oの行き来も効果的でした。

  • 総論、「仮説を100%正しく検証できる」というよりも「鋭い手がかりをくれる、良き壁打ち相手が増えた」という印象を受けました。

最後に、類似の手法や、また違った面白い使い方をされる方がいらっしゃれば、ぜひ情報交換させて下さい!私も色々と模索して参りたいです。
(※利用制限に引っ掛かり5日ほど利用できませんが)

この記事が気に入ったらサポートをしてみませんか?