Stream Hatchetの信頼性に疑問を呈する -失われた視聴時間-
初めまして、主にホロライブの配信データについて分析しているHoloデータ分析と申します。今回、Stream Hatchetが公表している「TOP FEMALE STREAMERS OF Q3 2021」（2021年第3四半期のトップ女性配信者）という記事が話題になっております。
Stream Hatchet発表 「2021年Q3 VTuberトップ5」1位に葛葉、「女性ストリーマートップ5」に兎田ぺこら＆さくらみこがランクイン(PANORA)
その分析において、兎田ぺこらさんの視聴時間が少なく集計されているのではないか？という指摘があることに気づきました。
What are the variables? How come Sakura Miko's accurate but you can't do it with Usada Pekora? she's off by 1.9m watched hours, that's a lot. The previous quarter was also off by a significant margin.
— Taiho (@tzxvckla) October 7, 2021
reference @/Holo_Data pic.twitter.com/iFff0DYR3P
私が集計しているデータを使用して指摘されておりますので、無視もできず、少々検証した結果、兎田ぺこらさん以外にもデータの欠落があるのではないかという事になりましたので、ご報告させていだだきます。
Holo_Dataの公表値の信頼性は？
Stream Hatchetの前に、当の私のデータの信頼性を議論しなければなりません。私はHolostats(https://holo.poi.cat/youtube-channel)の取得したデータをベースとして、若干の修正を加えて集計し、公表しています。これが信頼できるものであるかを検証するために、同じ視聴時間を基準にランキングを公表している配信技研様(https://www.giken.tv/)のデータと比較することに致します。
ここで、私の月間データと配信技研の月間ランキングとでは、集計期間が若干違うことにご注意ください。私のデータはその月中に開始された配信を対象としているのに対し、配信技研はその月に確認された同時接続数のデータを基に集計しているようです。つまり、月末に開始して翌月まで配信をした場合、私の集計ではすべて当月分として集計されますが、配信技研では明確に0時で当月分と翌月分を分けるものと思われます。
後の比較のため、3カ月ともランキングに載っているホロメンで比較し、3カ月ごとに集計しました。その結果、最大でも誤差は2.4%であり、その誤差も配信時間の差によるものの可能性が高いことから、私の集計は配信技研様とほぼ同じ値を出せていると結論付けていいと思います。同じ総視聴時間という指標を出しているのに、全く違う値では手法に問題がある可能性が高いですから、まずは安心しました。
総視聴時間の算出方法は、後日解説する予定です。
Stream Hatchetとの比較
とりあえず私の公表値と配信技研の公表値が近似していることから、双方の信頼性が確認されたという前提で、肝心かなめのStream Hatchetの公表値を見ていきましょう。
ソースは以下になります。
Q1：英・DEXERTO.COM発表、2021年1Q「世界で最も視聴されたVTuber TOP10」1位は兎田ぺこら Ash_on_LoL、CodeMikoもランクイン(PANORA)
Q2：https://twitter.com/StreamHatchet/status/1413144885205504020?s=20
Q3：Stream Hatchet発表 「2021年Q3 VTuberトップ5」1位に葛葉、「女性ストリーマートップ5」に兎田ぺこら＆さくらみこがランクイン(PANORA)
https://i.imgur.com/hjyep2x.png (Stream Hatchet Q3 2021 Reportより引用)
上記の通り、兎田ぺこらさん以外にも複数のデータについて、Stream Hatchetの値が低くなっています。 Q1の戌神ころねさんは3.4M→2.7M(約20%)、湊あくあさんは3.3M→2.2M(約33%)、がうる・ぐらさんは3.0M→2.3M(約23%)と、減少率で考えると兎田ぺこらさん8.1M→6.8M(約16%)よりも大きいです。
Q1の渋谷ハルさんの場合、Stream Hatchetの方が値が大きくなっていますが、配信技研との比較なので、配信技研側のデータ欠落の可能性があります。
また、Q1のVtuberランキングに葛葉さんと宝鐘マリンさんが載っていないのも問題だと思います。「TOP 10 VTUBER GAMING INFLUENCERS」という題名なので、企画や雑談が多いマリンさんが外されている可能性はありますが、にじさんじの代名詞である葛葉さんが載っていないというのはVtuberランキングとしては片手落ちだと思います。
まとめ：Stream Hatchetは現状信頼できない
以上の事から、Stream Hatchetの公表する総視聴時間は、なんらかの大規模なデータの欠落があるか、意図的に一部データを除外していると疑わざるを得ません。しかし、Stream Hatchetは問題を指摘したユーザーに対し次のように返信しています。
Hey Taiho, appreciate the concern! Stream Hatchet pulls data at minute-level granularity across live streaming sites for peak accuracy. The data we've reported for Pekora is pulled directly from her live streaming platform. Hope this helps!
— Stream Hatchet (@StreamHatchet) October 7, 2021
訳すると、精度については問題ないと主張しています。しかし、同じYoutube Data APIで取得した結果としての数値にこのような差が生じるということは通常考えられません。Stream Hatchetが数値の正しさを主張するならば、その取得したデータの要素である各チャンネルの配信時間を公表するべきだと思います。それでデータの欠落の有無が確認できます。
いずれにせよ、現状のStream Hatchetの公表値については大きな疑問が残り、そのプレスリリースについても信頼できないと言わざるを得ません。Stream Hatchetが状況を精査し、正確な数値を公表することを希望します。