より多くの依頼者と事業者の体験向上を目指す、データ分析のプロが挑むミツモア的「マッチングアルゴリズム」
依頼者と事業者をよりよいカタチでおつなぎするため、欠かせないのが「マッチングアルゴリズム」です。これまではCTOである柄澤史也ほか少人数で対応していましたが、事業が拡大するにつれてアルゴリズムの重要度は増していきました。
そんななか、2021年8月に入社したのが古田裕規でした。データ分析系のコンサル会社で経験を積んできた彼が、入社4ヶ月で急ピッチに仕上げたマッチングアルゴリズムについて柄澤と対談しました。
古田裕規 Yuki Furuta
プロダクト部 分析グループ
データ分析系コンサルに入社後、データサイエンティストとして約7年間勤務。複数の分析プロジェクトをPMとしてマネジメントを実施。よりプロダクトに近い環境で仕事をするため、2021年8月にミツモアに参画。北海道大学大学院理学院卒。
柄澤史也 Fumiya Karasawa
株式会社ミツモア 共同創業者 兼 取締役CTO
ヤフーにて4年間勤務。ヤフオクにてプロダクト開発、オフショアマネージメントに携わったのち、CTO室に異動。ヤフー全体を横断した技術支援などを担当した後、ミツモアを共同創業。東京大学大学院 理学系研究科卒。
https://github.com/fmy
https://twitter.com/fmy
採用面接時からマッチングアルゴリズムの相談をしていた
柄澤：古田さんには、採用面接の時から「ミツモアにジョインしてもらったら、まずはデータに専念できるデータチームを作ってほしい」とお話ししました。
古田：そうでしたね。僕が面接を受けた時、ミツモアの採用ページには「マッチングアルゴリズム専任のエンジニアを募集しています」とありました。その部分をすごく注力するぞという意志を感じていましたね。
柄澤：そうなんです。マッチングアルゴリズムを一番改善したい部分でした。
そしていざ入社してもらい、マッチングアルゴリズムをやっていこうとなりました。その時、CEOの石川と私、古田さんと3人でミーティングを実施して、具体的にプロジェクトを進めていったんですよね。
なぜマッチングアルゴリズムに注力していきたいかを、真っ先に伝えました。ミツモアは、依頼者と事業者をおつなぎするサービス。その際、事業者5名とつながれるような仕組みにしています。依頼者はそのうち1人を選び、仕事を依頼する（成約）という流れです。依頼者が事業者の提案に満足する割合、つまり成約率を最大化したかった。そのキーとなるのが、マッチングアルゴリズムだったんです。
以前までのミツモアは、私が中心となり、ほかの開発の合間にマッチングアルゴリズムをつくっていました。ルールベースのアルゴリズムで作っていたのですが、改善に時間をかけることができずに精度を上げることができずにいました。そこで、専任メンバーを募ったのです。古田さんには機械学習などを使って、よい方法を模索してほしいと思っていました。そのため、当初からいろいろな相談をたくさんしてしまっていたわけです（笑）。振り返ってみてどうですか？
古田：そうですねぇ（笑）。ミツモアに新規登録した事業者にもちゃんと5人のうちの1人として割り当てられるようにしなくちゃいけない。例えば、過去に成約率が高い人を優先的に応募しようというモデルを作ってしまったら、新しい事業者には永遠に応募がつかないんですよね。そこもしっかりやりたいという話は、印象に残っています。
柄澤：一極集中の問題ですね。ある特定の事業者にばかり案件がいくと、特定ユーザーへの依存性の高いものになってしまう。成約率を最大化しつつも、いろんな事業者の方の売り上げが上がっていけるようにもしたい、という話しもしていましたね。
古田：それに、一極集中していると、その事業者だけで処理しきれなくなってしまいますしね。いろんな事業者がミツモアを利用できるという状態を作り、繁忙期を迎えても依頼を取りこぼさないようにできる。そういったことも目指していました。
ルールベースから機械学習への転換
柄澤：改めて、古田さんがミツモアへ入社〜現在まで、どうやって仕事を進めてきたのかを教えてください。
古田：僕が入社したのは2021年8月23日。10月1日には本格的にマッチングアルゴリズムの開発を開始しました。最初の1ヶ月強ほど助走期間を設けたのは、ミツモアにどんなデータがあるのか、事前に知っておかないと何もできないからです。入社してすぐは、各部門がやりたい集計依頼を請け負ってるメンバーと一緒に集計して、データをたくさん見ていました。そのほか、柄澤さんやCEOである石川さんとミーティングをしたり、ミツモアの各サービスに詳しい方に話を聞いたり情報収集してました。本格的なマッチングアルゴリズムの改善は10月1日から開始して、11月29日にリリースしました。
柄澤：開発〜実装までは約2ヶ月弱ぐらいですね。
古田：絶対に勝てるものを作って導入するのも大事ですけど、スピーディに作り、試しながら動かせたのは良かったと思ってます。データ的な観点からも、クイックに作って導入し、ABテストして、本当に今回作ってみた方針で良かったのか確認する必要があります。過去の情報を用いて作成したモデルが、本当に未来のマッチングも予測してくれるのかは実際にABテストしてみないとわからない。実際に当初リリースしたマッチングアルゴリズムも、フィードバックを経て2週間ぐらいで2回修正しています。「なぜ成約率が低いのか」の原因を1つずつ見て、突き止めて、少しずつ修正して改修しているところです。
柄澤：最初は、機械学習とルールベースで、ABテストを両方やっていく予定でした。途中から機械学習に軸足を置き始めたように感じたんですが、それは何か手応えがあったからですか？
古田：いろいろありまして（笑）。今、ミツモアでは2つ目のモデルを作っています。もうすぐ、とあるサービスが繁忙期を迎えるため（編集部註：取材時）、それまでに機械学習に軸足をおかないといけない。そういった要因ですね。
柄澤：もうすぐくる繁忙期とは、確定申告のことですよね？
古田：そうです。確定申告シーズンまでにリリースして、テストを始めてしまいたい。修正も必要かもしれないため、早めに展開した方が、成約率へのインパクトが良いはずなんです。
柄澤：確定申告に対しては、ルールベースより、機械学習の方が成約率向上に貢献しそうだということですね。
古田：スピーディに作りたかったんですよね。もっと改善を加えれば、よりよいものになるイメージが自分の中にあります。だからもっと踏み切っていいだろうという判断がありました。
柄澤：なるほど。その方が数字が良いし、改善がどんどん進んでいきやすいということですね。
古田：はい、そうです。オリジナルのマッチングアルゴリズムの方も、機械学習で得られた知見を元にABテストした方が今後はいいと思いました。
急成長するスタートアップ企業でのデータ分析とは？
柄澤：古田さんは前職でデータコンサル系の会社に在籍していて、いろんな会社のデータを見てきたと思います。ミツモアのデータを見て、特徴的だと思ったところはありますか？
古田：税理士やカメラマンなど提供カテゴリの種類が多いので、職種ごとのデータに特徴がありました。モデルの結果を見ても、良い・悪いデータが顕著に出ていましたね。
それから、ミツモアは情報をたくさん保存してありました。ただし、簡単に機械学習に使える情報は残念ながらそれほどたまっていなかった。具体的にいうと、依頼時、掃除なら「部屋の広さ」「窓の数」、確定申告なら「収入」など、依頼者のデータを細かく集める仕組みがすでにできあがっていました。けれども、情報をためる鍵になる質問はけっこう変更が重ねられていて…。売り上げを上げるため過去みんなが頑張っていたからこそ、質問がコロコロ変わっているんですね。依頼内容を正確に把握するための改善なので、質問は変えてしかるべきなのですが、データ活用の観点からはアゲインストなんです。
機械学習は、過去の情報を基に未来を予測します。過去の質問と今の質問が違うと、未来の予測をすることができない。そういった理由からアゲインストなんです。まあ、そこは今後の頑張り次第で改善していくと思います。
別の事例をお話しすると、ミツモアでは高機能な社内管理画面があります。この管理画面を使うと、依頼内容や、事業者の情報などに簡単にアクセスし、調査できる。データ分析において、調査はけっこう面倒なんですが、そこが簡単にできるのはすごくいいと思っています。
柄澤：PDCAサイクルを回す上で、Plan、Doの後のCheck、何が悪かったのかという原因調査がすごくしやすい環境が整っているという意味ですか？
古田：そうですね。Planの時とCheckの時、両方ですね。
また、自分でも意外だったのは、オンシーズンの時とオフシーズンの時の傾向を機械学習に学ばせなかったことですね。これは、去年と今年で依頼の規模感が全然違い、登録している事業者の数も違う理由でした。
柄澤：そこは意外ですね。
古田：極端な話をすると、自動応募を開始した後、応募数が10倍に伸びているカテゴリがある。そうすると、去年の情報は無視して直近のデータに寄せてモデルを作った方が当たります。
柄澤：機械学習のやり方はこれまでの自分たちのやり方と異なっていて、面白いなと思って見てました。成約率だけで学習を進めている部分が、以前自分が考えていた時とは違っていた。なにより、古田さんは進捗などを細やかに伝えてくれるので、お願いしてよかったと感じますね。
古田：柄澤さんには、必ず「こう思ってるんですけどどう思いますか」と、比較的なんでも聞いていました。他の方からも気軽に意見をもらえたので、そういうところでもすごくやりやすかったですね。僕の仕事は、モデルを作る知識と、ビジネスの部分の知識、プログラムを書く知識が必要なんですが、ミツモアに関してのビジネスの部分はまだキャッチアップできていなかったので、だいぶ補完できて良かったです。
柄澤：機械学習のモデルを作ることと活用することは、ぜんぜん違う。古田さんもそこは懸念していたと思うんです。使い方については議論をたくさんしましたね。
日進月歩で進化する、ミツモアのマッチングアルゴリズム
柄澤：機械学習プロジェクトの目標をミツモアのTech Blogで3つが書かれていましたよね。具体的には、
①成約率を上げる
②ミツモアで活躍できるプロを増やす
③マッチングアルゴリズムのブラックボックスをなくす
上記を掲げていましたが、現在の達成度合いはどのくらいでしょうか？
古田：全くやっていないところから言うと、③ブラックボックスの部分はちゃんとやれてないです。まずベースを作ってからそこを作ろうと思っているので、そこはできてないです。②ミツモアで活躍できるプロを増やすということに関しては、そんなに深く考えなくても達成できてしまったと言う経緯があります。なぜなら、ここの部分は従来の方法と機械学習で出したものを半分ずつ出すと選ばれる事業者のバリエーションが上がるんですね。機械学習がいいと思ってる事業者と、従来のものがいいと思う事業者はそれぞれ異なっていて、それを混ぜると、必然的にいろんな事業者に依頼が分散される。だから、あまり苦労せず達成できました。
ちょっとずるいんですけど、今はそういう風に動かしています。①成約率を上げることに関しては、日々改善して向上させている最中です。
スピーディに作ると言う目標で作ったものなので、やりたいことが10あったとしたら、やりたいことの2しかまだできていないんですね。やりたいことを1つずつ消化していくことで、いいモデルに改善していって、成約率をもっと改善するということはできるのかなと思っています。
柄澤：実際に良くなっている部分もありますよね。不用品回収においては、かなり改善されている。そこで一定の効果があったと思います。うまくいっていないカテゴリーも、さらなる改善をトライし始めていますよね。
古田：不用品回収は、機械学習成約率 / 従来成約率 = 約1.141ですね。ほかの職種もトライし始め、改善を続けています。うれしいことに、1つ目のモデルよりかなり精度が上がってきています。今は2つ目が終わっていて、3つ目のモデルが70％ほど進んでいますね。
柄澤：古田さんに入ってもらって、日に日に改善が進んでいると実感してます。以前は自分が直したり、ABテストしたりといった感じだったんですけど、その場しのぎという感じが拭えなかった。古田さんに専任で入っていただいたおかげで、腰を据えて改善が進み始めたと思っています。
古田：ミツモアは、機械学習モデルをどうやって実装するのかに対して自由度がありました。比較的、自分自身が慣れた領域からスタートできたので早めに結果を出せました。意志決定者との距離が近いというのもミツモアの特徴。一番ミツモアのことを知っている人と話せて開発できるというのはすごく良い情報が手に入ってやりやすいですね。
柄澤：今後、ミツモアの組織が大きくなってきて、データチームが5〜6人ぐらいになると、すごくとんがった数学に強くアルゴリズムだけ作ってる人がいてもいいと思いますけど、今のフェーズでは、モデルを作るところからビジネス要件の吸い上げをして、プロダクトに反映させてリリースまで行えるユーティリティ性が大事です。そう考えると、全体的な動きを見られる楽しさを感じられる人が合っている気がするんですが、どうでしょうか？
古田：そうですね。それに加えて、今のフェーズでいうと、依頼者や事業者をより近くで感じながら仕事ができます。今のミツモアでは事業者さんや依頼者さんの視点に立って色々やりたい人の方が、よりマッチしてると思います。
柄澤：今は人数も多くないので、マッチングアルゴリズムにフォーカスしてやっていますが、近い将来には他の部分でもデータを活用したプロジェクトが進んでいくことが増えると思います。そういった意味でも、データチームの規模を大きくしていくことを視野に今から動き出したいですね。
（インタビュー・編集：福岡夏樹 ライティング：字と図 吉田千枝子）
======================================
ミツモアでは、現在事業拡大を進めており、エンジニア・デザイナー・PdMをはじめ多くの職種で積極採用中です。
Wantedlyにて募集しているので、カジュアルに面談に来てみませんか？
エンジニアチームの詳しいご紹介は「ミツモア エンジニア向け会社説明資料 / about meetsmore for engineers」を公開しております。
この記事が気に入ったらサポートをしてみませんか？