データドリブンなエンジニアになるために
職場の方がお勧めしてくれたので、読んでいて非常によかったのでまとめていきます。
用語の整理
OEC
定量的に測定可能な、総合評価基準のこと。
実験群
コントロール群、介入群から構成され、どのような体験を割り当てるかを示す。
なぜA/Bテストをするのか
・意思決定を促すためにデータを収集する
・実験の落とし穴を回避して、結果の信用度を向上させる
プロダクトを作っていう上で、良いもの作り、無駄な施策を打たなくて良くする方法の一つだと考えています。
またサービスの規模が大きくなればなるほど、一つの変更の影響度は大きいので、A/Bテストの重要度はあがっていくのだろうと考えています。
実験の条件
・介入群のユーザーがコントロール群のユーザーに影響を与えない
・十分なユーザーが存在すること
・主要なメトリクスが設定されていること
・変更が容易であること
一番難しいのが、短期的にも有効で、長期的な目標を予測することができる良いメトリクスを見つけるのが難しいです。
実験の流れ
さっきから実験、実験と書いていますが、本書で実験と書かれているのはコントロール実験とほぼ同義だと思います。
これは、変更を評価するために最も信用度が高いメカニズムのことを指します。
実験を行なっていく流れは以下の通りです。
・仮説を作る
・実験のデザインをする
期間、母集団、ランダム化単位
・データの収集
・データの解釈
ガードレールメトリクス、不変メトリクス
・結果に対する意思決定
結果から明確な答えが得られない場合でも決定すべきタイミングがある
うーん、正直実験のデザインとできる気がしないです。。。
データサイエンスの知識が不足していることをこういう時にひしひしと感じさせられます。
実験の信用性
よく聞くこととして、極端な有用な結果がでて、それを元にストーリーを作り、改善していくパターンを耳にすることがあります。
しかしここには落とし穴もあるらしく、データの損失、計算の誤りであることも多いらしいです。。。
例えば、A/Bテストを行う際にリダイレクト処理を加えることがありますが、その場合パフォーマンスに影響が出てきてしまい、主要なメトリクスに影響が出ることがあるようです。
終わりに
データ分析基盤、データサイエンスの重要性をひしひしと感じることができました。企画、開発、検証、意思決定までできるようなエンジニアになるために徐々に勉強できればと思います。
必要な知識
統計学
統計学の用語をまとめておきます。
標準誤差
仮説検定、有意水準
検定を行うため立てる仮説のことを仮説検定といい、帰無仮説を棄却する基準を有意水準と呼びます。
https://bellcurve.jp/statistics/course/9311.html より引用
実験計画法
効率のよい実験方法を設計し、結果を適切に解析することを目的とする統計学の応用分野です。
この記事が気に入ったらサポートをしてみませんか？