機械学習エンジニアがPdMとして推薦機能をマネージメントしたらこうなった

こんな人向け

  • 機械学習プロジェクトが立ち上がっては消えて困ってるチーム

  • 経営層やPOの機械学習チームへの要望の理解に困っているエンジニア

  • 社内でPoCモンスターしてる機械学習エンジニア(←自分もそうでした)

このような状況の人達がプロダクトの価値を実現し、ユーザに価値を届ける機会が増えるとうれしいです!

この記事を一文で表すと、

「百聞は一見にしかず、百見は一体(体験)にしかず。」

これは大学のときに授業で言われたことで、
聞くよりも見ろ、見るよりも体験しろ、動くものを作れ!
的な意味でいわれたような気がします。

noteに入社して1年弱ですが、今回はこのスタンスと相性が良かったです。

著者の経歴

  • MA ツールを売る SaaS の会社にデータサイエンティストとして新卒入社

  • 社内の機械学習関連のプロダクトの開発プロセスに課題を感じて PdM に

    • 傍らで Kaggle を続けて、なんとか Kaggle Expert 到達

  • いろいろあって note に PdM として転職、ホーム画面を中心に推薦機能周辺の機能を担当

入社時の状況

まずはチームの立ち上げが目標で諸々キャッチアップしながら、
最終的にメンバーは以下のように落ち着きました。

  • なんでもできちゃうやばいエンジニア1人

  • 機械学習エンジニア2人

    • 途中1人オーストラリアへ

  • デザイナー1人(兼務)

最初に関係者が触れるものを作った

これがこの記事を一文で表すと、の話です。

  • 関係者の期待値に到達するのか確認できた

    • 詳細な仕様のすれ違いなどを早期発見

  • 普段通りの使い方を観察したかった

  • 結局ホワイトボードよりも触れるものが一番認識が合った

    • (ホワイトボードもいいけど)

↓ AWS SagemakerからSpreadsheetに出力し、Figmaと連携してFigmaのアプリから実機で触れるようにした手法の紹介
あとからAWS Amplifyも使ってもっとイカしたユーザテスト環境とか作りたいモチベが湧いてきてる。

これらは自分と機械学習エンジニア1人とデザイナーに少し手伝ってもらうことで実現できた。
関係者の期待値の確認手法として、期間・リソースの面でめちゃくちゃコスパがよかった。

チームメンバーや社内でユーザテスト

  • 自分らが作った推薦アルゴリズムに対しどのように感じるのかを言語化する機会になった

    • 実装した機械学習モデルのお気持ちになっていろいろ考えるのはKaggleと似た感覚で面白かった

      • ユーザを身近に感じれる分Kaggleよりも面白かったかも

    • レコメンドされる内容に期待と異なるものが含まれることに気づけた

  • UI/UXの観点からも触ってみることで気付けることがあった

    • Spreadsheetではサムネが無いことによる体験の悪化に気づけなかった

    • 文字が大きすぎる

    • いいねは押せるようにする?しない?

    • etc

当初のMVPの致命的なリスクの顕在化

  • 想定していたシステムでは、Trust&Saftyの観点に違反する記事などが含まれることがわかった

  • ユーザが主観的に表示したくないものへのアクションが起こせない

  • etc

これらのリスクはリリース後だと明らかに問題になるものだったので、早期に気づけて本当に良かったです。

ABテストで定量的な効果検証を実施

メルカリのABテストの取り組みを参考に実験計画を行い効果検証を行いました

やはりABテストをすることで定量定性の観点による意思決定は安心感が違う

ユーザーインタビューもやった

参加してくれたかたありがとうございました!!!!
入社前、正直noteをほとんど使ってなかったので非常に参考になりました。

  • 実際のユーザが使っている様子を見れるのは貴重

  • 社内の利用者はバイアスまみれだと気づいた

  • 非常にフラットな意見を聞けて視点が狭くなっていることに気づいた

実はまだ機械学習っぽいことできてない

これは本当に悔しくて、やりたい・・・
技術が好きなのですが、自我を抑え込んで採用できていない

すでに社内ではいくつかの改善案のプロトタイプを作っていて、現状よりも気になる記事が増えるのを感じています。

はやくやりたい、、

これからの話

  • ここまでで推薦機能を推進していく足がかりはできた

  • 機械学習チームがもっと活躍できる体制ができた(と思う)

  • PdMの役割がなんだかよくわかっていないが、やはりものづくりは楽しい

入社して1年弱でホーム画面のリニューアルを完遂出来そうなので、結構がんばったんじゃないかなあと思っていてちょっと満足している面もあるが、
機械学習ができていないことは悔しいのでこれから頑張る。