pogchamp_ex3の審査方法について

こんにちは。今年もGWにpogchamp_ex3を開催するのですが、今年の審査方法に関して皆さんに聞きたいことがあると思い、このnoteを書いております。

本題に行くまでかなり長いですが、pog_ex3の制作の目安にもなるんで、是非全部読んでください。

1.今回の審査方法

今回の審査方法の流れとしては以下のようになります。
(前提としてコース応募が100個きた前提で話を進めます。)

1.審査員1人1人が提出コースのTOP30を決める

2.審査員全員のTOP30を加味した、総合のTOP20を決める

3.下限値を決め、総合のTOP20を100点満点で評価する。(前回のように基準によって何点みたいなのはない)

4.合計点で順位を決める

今回点数をつけるのはTOP20のみです。そこから下は順位自体がつきません。
また、実際の数値で採点するのも3からで、1, 2の手順では順位のみを決める完全な相対評価となっています。

おそらく先に聞かれそうなことをまず書きます。

Q.なんで審査方法をガラッと変えたの？

A.前回の審査方法に問題が見つかったから！

前回のpog_ex2ではわりかし上手くいきましたが、前回の審査員の方々と最近話す機会があり、そこで浮き彫りになった問題がありました。

それは、それぞれの人が思うコースにおける重要だと思う箇所がかなり違うということです。

例えば、これは僕としんのさんの違いなのですが、僕はコースにおいて、動きの洗練さとギミックの繋がりの自然さというものをとても評価します。
動きが洗練されている例で言うとfirehawks, ギミックの繋がりでいうとてらすさんのpog_ex2やPopCorn!, 遊星飛行。などと言った感じです。

逆にしんのさんが一番評価するのは、俗に言うギミック(機構)です。素晴らしいギミックや機構があればそれはかなり高い評価になります。

前回の方式でやると、審査員同士でコースの評価に対する重視するものが違うのにも関わらず、全員が同じ比重でやらなければならないことが問題です。

僕は構成とギミックの繋がりは50/100点くらい占めていると思っていますが、しんのさんはおそらく逆でギミックのすごさ的な面が50/100点くらいあります。

そのため、全員が同じ基準で評価をするのは、それぞれの審査員が重視することを点数に十分に反映できないので適していないと判断しました。

Q. TOP20をまず相対評価で決めるのはなぜ？
A. 相対的な評価と絶対的な評価の二つで判断するためと、負担軽減のため

負担軽減はわかりやすいですね、前回は100人分を審査するのに多大なる時間がかかりました、普通にみんな10時間くらいはかかってると思います。
pogchamp_exでは、ポイントを開示するのが上位のみであることから、下の点数をつけなくても結果変わんないんじゃね？なら上位の点数を熟考できる方がいいんじゃね？ってことです。

相対的な評価と絶対的な評価に関してはそのまんまで、まずこの手法ではTOP30を決めると言うところで完全に相対的な評価になります。(これよりもよい、これよりも悪いみたいな)
絶対的な評価はここでポイントを決めること自体が絶対的な評価となります。
2面的にコースを判断できることがメリットと感じたのでこの方式にしました。

Q.なぜTOP20の採点に下限を設定するの？
A.得点の分布をある程度同じにするため

例えば、皆さんは前回のpog_ex2めてらすさんに0点をつけられますか？？？
無理じゃないですか？
より絶対的に見てる人は、てらすさんのことを80点だと感じて、80点とつけるけど、より相対的に見てる人は65点くらいにつけると言うことがあり得るのです。

絶対的に見るって言うのは、他のものと比較するのではなく、てらすさんのコースだけを見て点数をつけるということです。
相対的に見るって言うのは、他のコースと比べて、どれほど劣っているかどれほど優れているかで点数をつけると言うことです。

絶対的な評価をする人は、上の方のコースは自然と80点代のコースが多くな流可能性が高いですが、
相対的な評価をする人は、そのコースが周辺のコースよりも、どれほど劣っているか、どれほど優れているかで判断するため、下に行けば行くほど自然に点数が下がると言うことになります。

そのため、これだと審査員によって得点分布が変わり、それぞれの持つ点数が適切に反映されません。

絶対的な評価をする人は、それぞれのコースのポイントの差が小さくなる傾向にあります。
しかし、相対的な評価をする人は、それぞれのコースのポイントの差が大きくなる傾向にあります。

これだと、後者の相対的に評価をする人のポイントが最終的なランキングに大きく反映されます。

例えば、A~Dさんのコースを評価するとして、

絶対的な評価をする人は
A95点, B90点, C91点, D93点とし、

相対的な評価をする人は
A80点, B100点, C90点, D95点のようになるとします。

この場合、最終的な順位は

B190点
D188点
C181点
A175点

と、絶対的な評価をする人よりも、相対的な評価をする人の方がランキングの順位に与える影響が強いことになります。

(実際pog_ex2でも少しそのような傾向がありました)
そのため、下限値を設定することによって、まあこの順位の点数はこんくらいだよね...みたいな全員の認識を揃える意図があります。
また、絶対的な評価をする人も、相対的な評価をする人もこの方法ですと、より自分が思っている点数に近づくと思います。
(そのコースを75点と思っている人が0点とつけることは難しい)

また、この方式を導入するにあたって、今回の審査員と前回の審査員を含む9人に前回のpog_ex2のTOP10を実際に下限値なし、評価基準なしで100点満点で採点すると言う実験をしてみたところ、明記した審査員による点数の付け方のズレが発生したので、このような方針にしました。

ここまでが昨日22時から朝6時半まで話して決まった内容で、ここからが本題です。

その下限値、どうやって決めんの？

取り敢えず案が２つあります。

1.前回の上位20%の点数が75点だったため、下限を75点に決める。
2.それぞれの21位の順位を採点して、その点数の平均を取ったものをTOP20の下限値とする。

の2択となっています。

1つ目のメリットは単純にルールが簡単化されるよねってことです。前回,前々回の傾向的にも75点でもいいよね。という

2つ目のメリットはコースを見てから下限値を決めるので、よりみんなが思っているコースの点数が反映されやすいと言うことです。

ということでこの二つのどっちがいいと思いますか！！！！！！！！！！！！！！！
リプライとか配信で聞くのでお願いします！！！！他のいい下限値の決め方があればそれも！！！