【シャニマス】EXスキルドロップ率検証
どうも。
虫の音とともにPカップの足音も日に日に大きくなってきておりますが、プロデューサー諸賢に於かれては健やかにEXスキルをお掘りのことと存じます。
昨年末にEXスキル関連の大幅なアプデがあり、その一環としてプロデュース後のEXスキルのドロップ数が向上しました。しかしながら、特定の金以上のEXスキルを手に入れようとすると種類の多さが壁になり、数をこなすことの重要性は変わっていません。
時間、そしてスタミナとサイダーにも、（課金を考慮しなければ）入手量に限りがあることを考えると、可能な限り一周当たりのドロップの質を高めたいというのはプロデューサー共通の願いでしょう。
ところが、具体的な手段を明らかにする検証はほとんど行われていません。質と量ともに意味のある検証は知る限り『sei_283の日記』内の記事（以下、”先行研究”）のみです。
該当記事：
『シャニマス EXドロップ率の話』
（https://sei283.hatenablog.com/entry/2020/10/06/232920）
『シャニマスEX検証 アップデート後』
（https://sei283.hatenablog.com/entry/2021/01/17/174520）
アプデ前を含めると合計で6000周近いデータを扱った優れた検証ですが、ドロップに関する全てが明らかになったわけではありません。
今回の記事では、未だ分からないことだらけのEXスキルのドロップについて、先行研究よりボリュームで劣りますがWing1000周分のデータを基に検証しました。先行研究を大いに参考にしていますので、未読の方はそちらも併せてご覧いただくとよいと思います。
本記事は以下の構成となっています：
・まず今回収集したデータの概要を説明します。
・それからプロデュース結果とドロップするEXのレアリティと数の関係について調べ、それによってファン数はドロップに対する影響がなく（あってもごくわずか）、フェスアイドルポイント(以下"FIP")または思い出LV（もしくはその両方）の影響が大きいことを説明します。
また一周当たりのドロップ数はプロデュース結果によって増減しないことも併せて示します。
・次にプロデュース中に受けるレッスンや仕事の回数と、アイドルのステータスがドロップの種別（初期値、滞在など）に影響を与えるか検証し、レッスン・仕事、ステータスによってドロップの偏りが発生しなかったことを述べます。
・そして敗北数とEXスキルの関係について、敗北数はEXスキルドロップに直接影響しなさ"そう"、ということを示します。
・最後にまとめと、今後の課題などを述べます。
今回の検証結果の概要は以上の通りですので、あとは検証の前提となっているデータについて説明した『今回の検証で収集したデータの概要など』さえお読みいただければお時間のない方は十分かと思います。
記事の分量が大きくなってしまいましたので、その点ご了承ください。
FIPについて補足:
FIPとは、『アイドル一覧』で「デフォルト」もしくは「フェスアイドルポイント順」でソートした際に、アイドルのアイコンの右下にある数字のことです。プロデュースしたアイドルのステータスと思い出LV、スキルパネルの取得によって増加します。
詳しい解説は『シャニマス攻略 Wiki』(https://wikiwiki.jp/shinycolors/%E4%BB%95%E6%A7%98%E8%80%83%E5%AF%9F#s05b69b1）や『ささめ’s blog』（https://s-33me.hatenablog.com/entry/2020/11/11/080057）を参照してください。
統計に詳しいP向け補足：
今回一つのデータに複数回検定をかけており、その際には検定の多重性が問題になります。
この記事では検定結果に対して、BH法にて補正を試みています。FDRの閾値を0.05としてq値を求めましたが、この検証でp<0.05となっている箇所で棄却検定に引っ掛かった箇所はありませんでした。
今回の検証で収集したデータの概要など
今回下の画像のようなデータが集まりました（『表1』)。
統計ソフトの仕様のためか文字化けを回避できなかったため、表やグラフ中の文字はアルファベット表記を使用しています：
上の画像の補足をします。
2020末のEXスキルアプデ後から2021/07/22までにおけるWING周回結果（サンプル数N＝1000）を使用しました。各サンプルは、
1. シーズン4に突入出来ていること
2. 欠損値が無いこと（そうでなければリストワイズ削除）
の2点の基準に採用の可否を決定しています。
2021/04/12～04/20開催のPカップ期間を除外しているのは時間的制約によってデータ収集をしていなかったことが要因です。このPカップ期間中はEXスキルのドロップ数が向上していました（質については未調査）から、今回のデータはあくまで平時のドロップについてのものということになります。
メインは歌姫周回ですが、社長の宿題ための50万で周回や、歌姫を突破できなかった周回もいくらか混じっています。
ちなみに画像をよくご覧いただくと、検証では数字を出す意味が薄そうな部分（ファン数やFIPの合計など）が残っていますが、これは編集の手間を省いたせいです。
ファン数についてですが、5万人単位で入力し、それ以下は切り捨てています。ファン数自体はドロップ率への影響がない、もしくはあっても軽微と想定したため（後述）、細かく記録する必要がないという判断からです。結果的に特殊オーディション「今夜は帰りたくない」に合格した時以外は10万人単位のファン数になっています。
今回は歌姫周回の140万周回と230万周回がメインで、それぞれ363周と301周しています。次に多いのが1負け200万と、特殊オーディションあり時の260万人と255万人の合計です。
正確な記録は取っていませんが今回の周回のほとんどがラジオ中心のVo極周回となっています。したがって育成時に受けたレッスンor仕事の回数は
[ラジオ>その他]、
ステータスの傾向としては
[Vo>Me≧その他]
となっています。
以上が今回収集したデータについての説明です。ここから検証に入ります。
データの検証
まずEXスキルドロップの量と質がプロデュース内容とどのような関係にあるか（相関）についてお話します。
その相関の係数を表したのが下の表です（スピアマンの順位相関係数を使用）：
表の見方についての補足：
上半分が相関係数を求めた表で、下半分が結果をプロットした図となっています。
まず上半分ですが”Spearman's rho”と書いてある各項目の交点の数字(相関係数)は、1が最大、-1が最小です。1に近いほど、「どちらかが増えればどちらかが増える（正の相関）」が、-1に近いほど「どちらかが増えるとどちらかが減る（負の相関）」があることを表しています。一般的に、±0.2までは相関がほとんど見られない、±0.4までは弱い相関、±0.7までは相関あり、それ以上は高い相関がみられる、とされています。
またアスタリスクが付いている箇所は、その結果が統計的に有意で、誤差やばらつきによって生じた結果ではなさそう、というような意味です。"p-value"(p値)が0.05以下の交点が該当します。
下半分の図は大きく右上と左下とその境界線で分かれています。
右上は上半分の表を全く同じ内容で、左下がそれをグラフにした散布図となっており、引いてある直線がデータの傾向を示しています。境界線の部分はそれぞれの項目の頻度(密度)を表したもので、例えば一番左上のグラフはファン数の頻度を表しており、140万人と230万人のところに山があるグラフになっています。図の方はだいぶ小さいので、必要に応じて拡大してお見せします。
まずファン数に絡む結果から見ていきます。
ファン数はドロップに影響しないと上で述べました。これは先行研究における140万周回と230万周回のドロップ結果に検定をかけた結果(p=0.166)ですが、この検証でも念のためファン数について調べてみました。
アスタリスクが付いているのは、FIP（弱い正の相関）、思い出(弱い正の相関)、合計(殆ど相関なし)との交点です。
まず、ファン数とFIPの間の負の相関は、230万以上の周回時は育成にかけられるターンが少ないためステータスと思い出を伸ばしにくく、140万周回ではその逆が言えるため、それを反映した数字になっています。EXスキルのドロップ数の方は有意差が出ていない箇所だらけですが、散布図を見る限り、ファン数とドロップ数の合計との相関については相当に小さそうです。
次にFIP関連です。
思い出LVとの間に強い相関（0.822）がみられますが、FIPの算出方法を考えれば当然でしょう。その他の数値を見ると殆ど相関がみられない、ということになりそうですが、FIPとEXスキルの関係を表した散布図を拡大して、線を滑らかに表示したものが下の図です：
水色の範囲は標準誤差を表し、語弊を承知で簡単に言うと「約68％の精度の範囲」です。幅が狭いほど精度が高いことを意味します。相関係数はいずれも0.2未満なので全体としては相関がほとんどないことになっていますが、引かれている線を見ていただくと分かる通り、FIP1700～1800あたりから金、銀、銅についてドロップ率の変化が見られます。先行研究でも似たような傾向が報告されており、FIPを高めるとドロップの質が向上する、と言える結果です。
ただし、FIPと思い出に強い相関があるので単純にそう言い切れない面もあります。例えばFIPと銅の相関係数と、思い出LVと銅の相関係数が同じ（-0.149）ですが、これを単純にFIPのせいと断定できませんし、逆のことが思い出LVにも言えます。後述しますがFIPと思い出どちらが影響力が強いかよく分かりませんでした。
次に思い出LVとの関係ですが、LV5でドロップ傾向に変化がみられます:
思い出LVも同様にドロップに影響している、と言いたいところですが、先述の問題が存在します。水色の誤差の範囲を考慮に入れるとぴったり重なってしまうんじゃないかと思えるくらいグラフの形が似ています。EXのドロップを狙った周回で思い出LVを上げない人はいないと思うのでどちらが要因でも大差ない気はしますが、先ほど述べた通り一応後で検証します。
残ったEX各色同士のドロップ数の関係ですが、ある色が増えると他が減り、ある色が減ると他が増るようです。ドロップ数の枠は上限が実質的に限られてそうですし、当然の結果でしょうか。レアリティの高いEXが欲しければレアリティの低いEXを減らせばよいわけですね。
Totalと銀、銅の間に、0.190という0.2に近い数字の微妙な正の相関のようなものが見えていますが、単純にドロップの枠が多かったときはそれぞれの色がその分（ドロップ率に応じて）多く落ちている、程度の意味だと思います。
また全体的にTotalは相関係数が小さく、また散布図を見ても変化が相当少ないので、ドロップ数の合計はプロデュース結果によって変化しないのではないかと考えています。
FIP vs 思い出
さて、前述のFIPと思い出のどちらがドロップに影響するか、の検証です。結論としてはよく分かりませんでした。まずグラフをご覧いただきますが、ただでさえ少ないサンプルを分割して図を作成したので誤差が大きいことに注意していただきたいのと、画像の数を抑えるために大量の図を一つの画像に詰め込んだので拡大しないと見辛いですがご容赦ください：
上図について：
左列は今回のデータをFIPの大きさ順に4分割（FIP自体の4等分ではない）したグループごとの周回当たりのドロップ数と思い出LVの関係を表した図です。各グループごとに異なる色で相関線が引かれており、薄い色の帯が標準誤差です。グラフの右側にあるノッチ付き箱ひげ図がEXドロップの分布を示しており、上側は各思い出LVごとのFIPの分布を示しています。
右列は逆に各思い出LVごとのFIPとEXの関係を表したもので、右側の箱ひげ図がEXの分布で、上側が思い出LVの分布です。
もしFIPとEXスキルそれぞれ独立にドロップに影響するとなると、例えば左列の金ドロップ（『図10』）でいうと、各FIP帯それぞれのグラフすべてが、思い出LVに反応して右上がりの線を描く、ということになるはずです。
ところで、統計では精度の基準として95％という数字がよく使われていますが、95％の精度の範囲は標準誤差の約2倍のが面積に該当します（ざっくりとした説明です）。図6～15の標準誤差の範囲から2倍となると、図の中のかなりの範囲を覆ってしまうことになりますから、何か傾向が見えても検証として当てになるか相当に怪しいことに留意願います。
その上で中身を見てみます。ただ上で出した相関の表以上のことがほとんど言えなさそうというのが正直なところでしょうか。
左列はFIPが一番小さいグループ（水色）とFIPが2番目に大きいグループ（黄色）のグラフが、ドロップ率の変化点だった思い出LV5まで届いておらず、そもそもこの検証で役に立ってないような気がします。
右列では『図11』（銀）と『図13』（銅）で、思い出LV5（赤色）の線と箱ひげ図が思い出4以下と比べて（誤差を考慮に入れなければ）位置取りが大きく違っているように見えるので、思い出LV5だとFIPに関わらずドロップ率が変化する、と言える可能性くらいはあるでしょうか。高思い出LV低FIPは歌姫周回でわざわざ作らないので、低思い出高FIPのデータが集まってくると言えることが増えるかもしれません。
以上の通り、ドロップに強く影響したのがFIPなのか思い出なのかについて、今回の検証でははっきりとした結論は出せませんでした。
統計に詳しいP向け補足：
試しにFIP、思い出LVそれぞれを統制変数として偏相関を出してみましたが、もともと相関係数が小さかったりするせいかあまり意味がなさそうでした。高FIP帯、高思い出LV帯に絞ってやると何か変わったりするんでしょう
か？
レッスン・仕事、ステータスとEXスキルとの関係
これまでEXのレアリティとドロップ数にフォーカスした検証をしてきました。ここでドロップの種類についての検証を行います。
特定のレッスンを受け続けることで滞在EXのドロップが向上したり、特定のステータスを伸ばすことで関連するEXが落ちやすくなれば、目当てのEXが合成と併せて楽に手に入ります。
しかし受けるレッスンやステータスをコントロールしても特定の種別のEXスキルのドロップ率が向上することはないと考えられます。
前述した通り、今回のデータはラジオ中心のVo極編成なのですが、ドロップした各種EXスキルの数を表にまとめると以下のようになりました：
もしレッスン等の選択回数がドロップの結果に影響するとなると、メンタルやラジオ滞在のドロップ数が他と比べてが大きく増減していそうなものですが、その傾向はみられません。
またVo系統も極端な値を取っていませんから、ステータスもドロップに影響があるとは言えないと考えられます。
またフィッシャーの正確確率検定で一応調べた結果、Pアイドル用EXスキルも、Sアイドル用EXスキルも、EXスキル種別間でのドロップ率の差はなさそうでした：
Pアイドル用がp=0.3658、Sアイドル用がp=0.6036となり有意とは言えない結果です。
これにより、現段階ではプロデュース内容によってドロップの種類は変わらないと結論したいと思います。
補足：
ここでは金と虹に関してのみ、検定を行っています。EXスキルは種類によっては銅や金が存在せず、確実にドロップ数が"0"になってしまうものがあるため、全EXスキルの全色を検定の対象にするとその"0"に反応して有意差が発生してしまうためです。これを回避しながら各色を総合して検定する手段が思いつかなかったのでこの方法にしました。
「なさそう」と少しあいまいな表現があったのはそのためで、検定に使えるデータ量が減ったせいで精度が落ちているかもしれません。他にいい方法が見つかればそちらを採用して検証し直します。
敗北数とEXドロップの関係
先行研究では敗北数と準決勝、決勝の結果がドロップのレアリティに影響するのではないか、としていました。しかしながら、現段階では本戦以外での敗北そのものはドロップに影響しないのではないかと考えています。今回の検証のために私がデータ収集を始めた際に敗北数がドロップ率に影響しないと考えていたため、敗北数を記録したデータが十分な量集まっていないので、先行研究で掲げられていた下の表に基づいて少し議論します。一周当たりの敗北数（道中オーディション+本戦）ごとのEXドロップ率と、WING本戦の結果ごとのドロップ率の表は以下のものが掲げられていました：
『シャニマスEX検証 アップデート後』
（https://sei283.hatenablog.com/entry/2021/01/17/174520）より引用
上図のEXドロップ数のテーブルに対して、フィッシャーの正確確率検定（"simulate.p.value"オプションを使用）を行った結果が以下の通りです：
オーディション込みの敗北数ごとの表についてのp値は0.7006となっており、統計的には敗北数によって差があるとは言えないことになります。
一方でWING本戦の結果に関する表ではp=0.0004998となっており、表の中のどこかに期待値より大きい、または小さい数字が表れていそうということになります。（本線敗退したサンプルは少ないですが。）つまりWING本戦の結果はドロップ数に影響していそうと言えます。
以上から、オーディション込みの敗北数がドロップに影響していそうに見えるのは、敗北数のカウントに本戦の結果が混じっていることが一つの要因になっているのではないかと思います。また、道中のオーディションで敗北する時は思い出LVが低かったり、SPを含めたステータスが下ぶれている割合が多かったり、また敗北することによって得られたはずのステータス上昇が起こらないことでFIPが伸びない、といったことが起こります。そういったことによってドロップの質がが結果的に悪化しているのではいかと推測します。
サンプル数が少ない(N=236)ですが、私の手持ちのデータから、参考までに敗北数に対するFIPおよび思い出の関係を表した散布図を示します:
左側が負け数ごとのFIP、右側が負け数ごとの思い出LVとなっています。
負け数が大きくなるほど、ドロップが良くなっていたFIP1700～1800のラインや、思い出LV5の丸が小さかったり、少なくなっています。サンプル数の少なさゆえかこのグラフも誤差の範囲が絞り切れていませんので、まだ自信があるわけではありませんが、敗北数そのものがドロップの質に直接影響していると結論付けるには証拠が足りていないと考えます。
おわりに
さて、長文にお付き合いいただきありがとうございました。
まず今回の検証結果を簡単におさらいします：
・ドロップの質にはFIPもしくは思い出LVの影響が大きい（ただし片方が影響しているのか両方が影響しているのかよく分からなかった）
・1周当たりのドロップ数は条件によって変化しない
・特定のレッスン、仕事を受けた回数や育成によるステータスの変動に、ドロップの種別は左右されない
・WING本戦を除く、敗北数それ自体はドロップに影響しない
サンプル数が少ないことや、私の統計的知識の欠如や統計手法に起因する諸事情によりあいまいな説明になっているところも多いかったかと思いますが、今回の結論は以上とします。
今後の課題等ですが、FIPと思い出LVのどちらがドロップに影響しているか、のところは次回以降があればやれたらと思っています。低思い出高FIPの育成が出来れば、FIPがどれくらい効果を及ぼすか単独で見れますので検証が進みそうです。ただ私は祝唄と全力ビートとスプリングフィッシュを4凸させるためにセレチケ2枚とはづきさん10枚要りますので、すでにやれてしまう方は検証をぜひ。理想としては高思い出低FIPの育成のデータも欲しいですが、思い出LVを上げたうえでカタストロフしたりスキルを消したりしてFIPを下げる手間がかかりますからEXの質の低下の恐れを考えるとなかなか気の進まないところです。
歌姫合格の有無によるドロップ率の変化や、特殊オーディションの影響などもきちんと検証したかったのですが、サンプル数が足りなさそうだったり、ここまで執筆するだけでもかなりの時間をかけてしまったりしているので、これも次回以降の課題とします。（特殊オーディションについては合格の有無は直接影響してないのではないか[暫定]）、とだけ言い残しておきます。）
また、敗北数がドロップに与える影響があるかもより詳しく検証すべきかと思います。
さて、今回の検証はここまでとなります。
最後になりましたが、公開前に校正の助言を下さった方々にお礼申し上げます。大人気海戦ゲーム『World of Warships』のクラン『HESTIA』DiscordサーバーのシャニPの皆さん、ありがとうございました。
それではみなさん、よいシャニマスライフを。
2021.09.21 誤字脱字、文字修飾修正
2022.02.28 『おわりに』の課題を追記（敗北数について）
この記事が気に入ったらサポートをしてみませんか？