意味のあるA/Bテストを実行するための設計についての考え方

ランディングページ (LP) の改善運用を担当することがあるけど、正直、統計とか有意差とかよくわからないよという人に向けて、A/Bテストで必要なサンプルサイズの設計方法の考え方についてやわらかく説明したいと思います。
#1 . はじめに・ A/Bテストとは、異なる複数のページを均等に表示させて、一定期間の集計データをもとに「どのパターンがもっとも効果が高いのか」を判定するためのテストです(※1)。