Facebookはなぜニュージランドでテストローンチするのか (ソーシャルな機能のABテストの方法)
新機能をローンチする際，正式ローンチ前に AB テストで効果検証をする場合は多いです．AB テストでは，メトリクスの変化が機能の違いによるものであることを保証するために，A-B 間の ランダム性 の担保が重要となります．
UI の変更 (例えばボタンの色の変更) のように，変更による影響が個人に閉じているもの に関しては，ランダムに選んだ n% のユーザに変更を適用すればよく，AB テストを実施するのは難しくありません．
一方で，ソーシャルな機能 (インタラクティブな機能) に関しては，そのようにはいきません．周囲の人も同じ機能を持っていて初めてその機能を利用することができるからです．例えば Twitter のグループ DM の機能が 10% のユーザにのみに適用されていても，全く使い物にならないでしょう．
Facebook や Twitter などの SNS は，新機能検証の際にこのような問題に直面します．ではこれらの企業が正式ローンチ前にどのように機能検証しているかというと，できる限り独立した小さいグループ (コミュニティ) を見つけ，その閉じたグループ全体に変更を適用することで，機能検証を可能にしています．以下では Facebook の事例を紹介します．
Facebook の事例
Facebook の Discover People は，同じ会社で働いている人や同じイベントに参加した人をお互いに見つけられる機能です．この機能は，2017 年に ニュージランド で先行ローンチされました．
これは，本命の米国ローンチを前に，小さい独立したコミュニティで機能検証をした例です．オーストラリアやニュージランドは，① ユーザ数は他国と比較して小さい (失敗した時のインパクトが比較的小さい) ② 島国であるためコミュニティの独立性が高い ③ 英語圏であり文化が米国に近い (ランダム性の担保) といった理由から先行ローンチに適しています．特にニュージランドは，このような地域性のため，他のテック企業からも先行ローンチの対象エリアとして選ばれるケースが多いです．
他の事例としては，昨年 11 月に Twitter がフリートを日本で正式ローンチしましたが，事前にテストローンチが 韓国 でおこなわれていました．韓国は島国ではないものの，コミュニティが ① 比較的小さく ② 独立性が高く ③ 日本と文化的な親和性も高いといった，前述の 3 つの特徴を全て兼ね備えているために選ばれたのではないかと推測できます．
このように，ソーシャルな機能でも，できる限り独立したコミュニティを見つけ変更を適用することで，機能検証をすることができます．ただ，コミュニティ間のランダム性を 100% 担保することは難しく，そこは注意が必要です．ニュージランドは米国と文化的な親和性が高いといっても全く同じではないですし，日本と韓国も同様です．ただ，それを差し引いても現実的には十分有用な手段と言えるでしょう．ソーシャルな機能の AB テストの方法として，Graph cluster randomization: network exposure to multiple universes のような研究もおこなわれています．
この記事が気に入ったらサポートをしてみませんか？