Steamで配信されている作品に投稿されたレビューを1316作分調査し、本当に日本人が悪評をたくさんつけるクソマナー野郎なのか確かめました。
2021/06/16 04:23 自身の主張である「日本人ゲーマーが悪評レビューを投稿しまくるマナーが悪い集団と糾弾するなら、ソースを出すべきだ」という部分が無視され、スマホ市場の話など論点をずらし炎上させられている状況に感情的になり冷静さを欠いていた部分を精査し、意見を正しく書き直しました。
前記事では「コミュニティを批判するならば、データを基にしてほしい」という趣旨のもと、Steam上での状況を軽く説明した。だが、「こんなデータではなにも言えない」「データを出せというが、コミュニティ擁護側のデータがこれでは信用に値しない」など数々のご指摘を頂いた。
そこで本記事では前記事で行ったSteamのレビュー数とその不評率の調査を拡大し、Steamにて販売される1316作のレビューを調査した。
そして、この調査の目的は日本人と世界の人々のSteamのユーザーレビュー数を比較すると、世界全体（全言語）と比べ日本人（日本語）の低評価レビューの割合が高いのかどうか、確かめることにある。
この調査は前記事では手作業で行っていた計測をSteamworks Web APIを用いた調査ツールを製作し自動化した。このツールはSteamのAPPID（配信タイトルに割り振られたID）からゲームタイトル、全言語のレビュー総数、全言語での不評レビュー数、全言語レビューの不評率、日本語のレビュー総数、日本語の不評レビュー数、日本語レビューの不評率の7つを抽出し、結果をCSVとして出力するプログラムとなっている。今回の調査は2021/06/15 17:00からデータ取得を開始した。
調査対象はSteamがストアページで公開するトップセールス（全世界版）ページを上から順に1440作をリストアップした。無作為選別も考えたが、調査者の主観を排し、かつレビューが一定以上投稿されているであろう調査価値の高いゲームを選出するため、このリストアップ方法を採用した。除外対象や取得不可の作品があることを見越し、1000作以上を目標に数を余分にリストアップした。除外対象だが、DLCとソフトウェアは厳密にはゲームではないがユーザーレビューがあるので残し、予約作やゲーム内通貨といったオンラインサービスの販売物は除外した。また、日本リージョンで販売されていない商品は情報を取得できないためこれも除外となっている。
調査を実行したところ、いくつかのタイトルでエラーが発生しデータが取得できないものもあった。そうした作品はやむなく今回の調査からは除外している。今回は個別のゲーム内容ではなく全体の俯瞰が目的となっているため、この対応でも問題なしと考えている。なお公平性のため、これら取得不可作品については別にリストで公開する。
結果として、除外作品がを省いた1316作が調査データとなった。（全体のデータはこちら）
まず1316作分取得したレビュー数などのデータの総和から低評価率を算出した。全言語のレビュー総和26899661件のうち、低評価レビューは3224619件となり低評価率は11.95％となる。これに対し、日本語レビューの総和115332件のうち、低評価レビューは23179件となり日本語レビューの低評価率は20.1％となる。
たしかにこのデータだけ見ると、8％の差があり日本語レビューの低評価率は確かに高くなっている。だが、注目したいのが全言語のレビュー総和のうちの日本語レビュー総和の割合である。実は日本語レビューの数は全体の0.4%しかない。全体の0.4%でしかない日本語レビューの割合と全体を比較することは差が大きすぎる。
そこで第2の評価軸として、各作品での低評価率を平均し比較することとした。調査対象全作品の全言語のレビュー数の低評価率を平均した値が15.67%、調査対象全作品の日本語のレビュー数の低評価率を平均した値が19.98％となる。各作品での低評価率の平均値でもおよそ4%日本語レビューが低評価率が高くなっている。
しかし各作品ごとの低評価率には妥当なものもあれば極端な例もあり、例えば『Call of Duty®: Modern Warfare® Remastered』は全言語のレビュー総数が3019件あるが、日本語のレビュー総数が26件しかない。そのうち14件が低評価のため日本語レビューの低評価率が36.34%と高くなってしまっている。全体数が少ないからこそ1レビューで変動する割合が大きすぎるのだ。
データの総和の低評価率と日本語レビューの総和の低評価率が8％差、低評価率比較の平均値が4％差となる。だがそれは日本語レビューの絶対数の少なさによる1レビューの重みが多分に影響しており額面通りに捉えるのはまた違う。日本語レビューの低評価率が少し高めになっているのは田舎の小選挙区のように一票の格差があるという前提で考えたほうがいい。
それを踏まえて、たしかに差はあるがこの差から日本人ゲーマーコミュニティが悪評ばかりをつけるという極端さまでは感じられないというのが筆者の考えだ。また、8％、4％の差自体も圧倒的に他国と環境が違うと断じる大きな差かと言われると疑問もある。
加えて、日本語のレビュー数が全体の0.4%というのは日本人のユーザー割合1.94%（世界9位）を考えると非常に少なく感じられる。そもそも日本人Steamユーザーはレビューを投稿しない傾向にあるというのは、この調査で見えたところだろう。
ここからは個人の意見だが、この程度の差で果たしてゲーム会社がレビュー数は少ないものの人口は多いと分かっている日本市場を諦めるのかというと全くわからない。それに全体の0.4%でしかない日本人のレビューはSteamのユーザー評価を変えるほどの影響力がない。ならば売上への影響も小さいものだ。そうした状況で「日本人は悪評をすぐに投稿しているので海外のゲーム会社から問題視されている」というのはなかなか無理筋の意見ではなかろうか。それに前記事でも触れているが、低評価レビューが多いからバッドマナーな文化圏という考えがあまりにおかしい。日本人の低評価レビュー20％全てがゲームに向き合ってもいないトキシックレビューだというなら別だが、そんなことは絶対にありえない。評価が固い文化圏であることは、けっしてバッドマナーではない。
「日本人のゲーマーはすぐ悪評をつけるし、市場規模も小さいので海外から無視されることが多い」という論調が展開され、日本人ゲーマーをソースもなく非難する論調にワタシや多くのゲーマー、業界人がNOを言いつけたところから始まった一連の騒動であるが、今回の調査を経て少なくともSteamの日本人ユーザーコミュニティではその傾向にないというのが筆者の結論だ。十把一絡げに「日本人」という大きな枠組みで批判をし、なおかつソースも出さない状態で、コミュニティを批判することはあってはならない。
ワタシは拙いながらも調査を行い、日本人ゲーマーコミュニティがバッドマナークソ野郎集団でない可能性を示した。これでもまだ日本人ゲーマーコミュニティのバッドマナーを糾弾したいのならば、ソースを提示し、問題を細分化して提示して欲しい。いかに重大な問題であったとしても、根拠がなければそれはただの悪口でしかない。
謝辞：プログラム制作を行ってくれた、kurotoribb氏、shirotsume氏、kyuminfield氏ありがとうございます。このプログラムはGithubにて公開されています。
2022/09/01 追記：これら2つの記事を書いて1年以上たちました。1つ目の記事を書いた当初「なんて適当な記事なんですか。1本しかゲームを調べてないとかライターとして恥です。こんな能力不足をさらしていると仕事が来なくなりますよ？」といった内容のメッセージをもらい、怒りが抑えられず2つ目の記事、つまりこの調査を行いました。ただ、この調査に関しては正直なところ検証が甘いところがあります。ワタシの知識不足も当然ありますが、これはとにかく記事公開の早さを重視したためです。当時、「日本人のレビューは低評価ばかりでよくないのは事実です。記事を1か月以内に書いて証明します！」という宣言がなされており、世論もそちらに傾きつつありました。ですが、その宣言をなさった方には「○○について書きます！」とバズった内容について宣言したものの記事を書かないということがこれまでに幾度かあり、今回も記事を書かずにポジションだけ得るのではという危惧がありました。そこで、1か月掛かると宣言されていたよりも圧倒的に早い1つ目の記事の翌日にこの記事をアップし、日本人批判側がなぜデータを素早く出して正しく批判できないのか？擁護側は甘いなりにも素早くデータを出しているぞ？と暗に批判しようと考えたのです。
1年以上たった今もなお、宣言された日本人低評価レビューについてのデータは公表されていません。ワタシたちの調べたデータを使ってもよい。と言っていたので、これを下敷きに正しく検証し批判に変えてくる記事にするという手もありましたがそれもありません。繰り返しますが、ワタシはコミュニティを批判するならばデータを用い正しく批判するべきだという主張をしています。ワタシの甘いデータ分析も、それを下敷きにより議論を深めてほしいという思いからです。相手を卑下するばかりでは何も良くはなりません。市場・議論の健全化のためにも、根拠をもってお話いただけますよう、何卒よろしくお願いします。
2022/09/03追記：１年前の記事のはずですが、話題になったことをきっかけに多くの反論が届いています。おおむね「やっぱり低評価が多いじゃないか。なんの反論にもなっていない。」という反論です。
1つ目の記事をご覧いただきたいのですが、ワタシは低評価が多くないよと証明したいわけではないです。海外ゲーム会社が日本ユーザーの傾向を嫌って日本への展開をしない風潮にあるというのが、流石に無理筋なのではと説いています。またこの記事内にも書いていますが、日本人文化圏の評価が渋いとしても販売を避けるほどのこととはとても思えません。評価が渋いことも、それがすなわちマナーが悪いというわけでもありません。
そこまで言うなら、どの配給のどのゲームが日本のレビューのせいで日本展開されていないのか、実例を出してもいいのではないでしょうか？おっしゃるのが正しいのなら、そうした会社が多くあるはずです。あのパブリッシャーもこのパブリッシャーも、いろんなゲームを日本人レビューが悪いがために日本展開していないはずなのです。なぜ、販売されていないゲームの名前がひとつも上がっていないのでしょうか？いや、1本2本あったところでそれは個別の事例にすぎません。その会社が日本嫌い、それだけです。かなりの数の実例があってこそ、日本人が海外ゲーム会社から避けられている風潮と言えます。
「この記事は間違っている！記事を書いて証明します！」と日本人批判の急先鋒としてワタシの記事に直接突撃してきたゲームキャストさんが、裏で「仕事なくなりますよ」と脅しにも感じるDMをワタシに送りつけ、データについてはド素人のワタシにこの調査を強いたのです。ならば批判側も同じようにきっちりと、日本人の傾向を嫌ってゲームを展開しない企業について1件や2件ではない広範なデータを調査してくるべきです。
1年以上、ワタシはこの脅しにも耐え、批判にも耐え、データを待ったのです。これ以上データなしで殴られるのは勘弁なりません。正直上のDMは「調査しないならば、ライターとして死ぬぞお前？謝るなら今だぞ？」と言ってるようなものですよ。議論している相手に裏でこっそり送る内容ではない。
本人らがデータを出していないからと沈黙していたとしても、周りがその説をデータもなしに掘り起こし、ワタシの主張が蔑まれ続けるのには正直耐えられません。ワタシのデータを出して語りましょうという最も大事な部分を無視され続けるのも耐えられません。
繰り返しますが、データのない批判はただの悪口です。ワタシの調査が甘いというなら、データで殴ってください。
2022/09/04追記：データで殴ってこいと言いましたが、それはマナーや法律に反しない方法で集めるべきです。
ゲームキャスト君 steamレビュー取得装置を作り始めて何を？ってなるんですよね pic.twitter.com/y9VVLqGaHe
— トビウオ師匠 (@city_swimmer) September 4, 2022
APIアクセスしてる所までは正しいけれどSteam全件の150,753件のAPIをwaitもなしに叩き続けるのはさすがに最悪ですね pic.twitter.com/RRLxuRIKGL
— くろとり@dev (@kurotoridev) September 4, 2022
現在、ゲームキャストの公式Discordチャンネルで自作のSteamレビュー取得プログラムを配布しています。そしてゲームキャストを支持する方へも利用を促しています。しかし、このプログラムはAPIを叩いているもののWait（待ち時間）を設けておらず、しかもSteamに登録された15万件超（配信されているゲーム、ソフトウェア、テストアプリ、体験版、ベータテスト用ソフトなど全て）の情報を一気に取得しようとするよくない挙動のプログラムです。複数人で動かせばDDoS攻撃になってしまっています。1人で動かすならまだしも、複数人にこれを配布し利用を促すのは、「一緒にDDoS攻撃をしましょう！」と言っているのと同義です。レビューのマナーなど、完全に吹き飛ぶ危険な行為です。
SteamのAPIは1日10万アクセスまでと定められていますが、このプログラムはWaitもなく一気に30万件（15万×2言語分）の情報を取得しようとする上に、秒間6アクセス（つまり1日25万9千アクセスのペース）も行っており、かなり危うい情報取得を行っています。
多くの人が注目している今回の騒動ですが、これがきっかけでSteamにDDoS攻撃を行う可能性につながるのはあまりにもひどいです。絶対に遊び半分でこのプログラムを走らせないでください。本当によくありません。
繰り返しますが、データで殴れとは言いましたが正しい方法でデータをそろえるべきです。このような形で反論されても、議論は発展しません。
2022/10/01追記：ありがたいことにワタシのデータを用いてAB検定を行ってくれた方がいらっしゃったので、その記事が公開されてから少し時間は立ちましたがリンクを共有しておきます。
ワタシの記事に対し「統計学を学べばこの調査結果がいかにズレているかわかる」という批判は多くありましたが、公開しているデータをもとに統計学を用いて議論を進め、記事化していただけたのはワタシが知る限りこれが初めてでした。本当にありがとうございます。
この記事を見ていただければわかりますが、結果は優位水準5%で差があるという結果でした。引用となりますが「確かに日本人ゲーマーの評価は世界基準と比べると渋いようだぐらいは確認できました。だからといって海外市場から無視されるまでは確認には至らなかったですけどね。」という所見も添えられています。
また、これに加えてなぜ「日本人レビューが悪いがために海外メーカーが日本展開をしない風潮にある」という風説が流れているのかも第3者目線で追っていただいております。
合わせてこちらもご確認ください。このような風説が根拠もなく、プラットフォームがどこかであるかもはっきりしない状況で語られているのはおかしい。というワタシのそもそもの主張が、第3者からも出てきたことに少し安堵いたしました。
炎上中のキツい議題にわざわざ踏み込んでいただき、重ねて本当にありがとうございました。
2023年3月3日追記：パソコンが壊れていたからできなかった記事作成を再開しました！とゲームキャスト寺島氏が自身のDiscordで宣言してから半年。そして私の記事に寺島氏が「申し訳ないがこれは間違っている。私のもっているデータもそう。1ヶ月以内に記事を公開して証明します」と宣言してから600日以上が経過しました。今もなお、記事は公開されませんし、私に対する謝罪もなにもありません。一体どうなっているのでしょうか。
一過性の炎上など放置していれば鎮火し、なにもなかったことにできるというのはその通りです。が、本当にそれでいいのでしょうか。もし本当にそうした問題があるのならば、鎮火させずきっちりと声を上げ、是正を図るのがメディアや業界人のなすべきことと思います。我々業界側がお客様であるユーザーを批判するというデカい爆弾情報を出すというのはそうした目的があって初めてすることです。RT数を増やしてよろこぶためにすることではありません。
今なお多くの人が「海外ゲーム会社が、日本人のレビュー傾向を嫌って日本展開を避けている」という話を信じており、度々その論が展開され続けています。昨年9月の炎上以降も業界人のNoteでも見かけましたし、Twitterで検索すればボロボロと出てきます。ですがそれらは往々にして、日本人のレビュー傾向が渋いのは事実というこの記事でも明らかにした内容しか示していません。海外ゲーム会社が本当に日本展開を渋っているのかという肝心の部分についてはぼかされています。何度も申し上げていますが、そうした理由で日本展開されていないゲームの名前が1つも上がっていないのは不思議で仕方がありません。
たしかに展開する国を決めるというのはマーケティング戦略の情報となり、機密保持の問題があるのかもしれません。私たちユーザーに示せないだけで、日本人のユーザー傾向を嫌って日本展開をしていないゲーム会社がたくさん存在して、そうした傾向にあると断言できるだけの広範なデータがあることも否定はできません。ですがそうなると、この論を言いだした人は複数社分（しかもかなりの数）のマーケティング戦略に関する機密情報を持っていることになります。公開できない機密情報を傾向が分析できるほどに複数社分所持するなど、できることなのでしょうか？
なんにせよ。「叩かれて対話にならない」と逃げないでほしい。業界人がいってたらかそうなんだと鵜呑みにしないでほしい。根拠やデータがあってこそはじめて議論は前へ進みます。
2023/7/27追記: 繰り返し申しておきますが、ワタシのこの調査結果は「Steamでの日本語話者のレビュー傾向は渋め」「Steamの日本語話者はレビューをあまり投稿しない」という事実を示しており、そこに加えて所見として他国と大きく異なるほどの差かはわからないとしています。ですので、この記事にもリンクを貼っている有志の方による再調査と大きく結果が異なっているとは考えていません。
記事公開当初は寺島氏による悪質なDMに対する怒りもあり結論がぶれてしまいましたが、その結論で当記事を公開していたのは6時間のみであり、すでに修正と謝罪も行なっております。
また、この調査はレビュー数のみに着目しており、悪質なバッシングや低評価爆撃と言った荒らし行為は調査していません。情熱大陸の吉田P取材回放送後この記事を取り沙汰する方が多くおられますが、この調査を持って「日本人は悪質なバッシングを他国よりもたくさん投稿する傾向にある」と断ずることはできません。また、FFへの悪質なバッシングが多いこととワタシが調査したSteamにおける日本語話者のレビュー傾向はまったく別の話であり、それらを結びつけるデータもありません。あしからずよろしくお願いいたします。
この記事が気に入ったらサポートをしてみませんか？