見出し画像

なろう小説から「隠れた良作」を発掘できるか試してみた

少し遅れた小ネタではありますが、今年の人工知能学会で
「隠れた良作の発掘を助けるWeb小説推薦システムの構成と評価」という論文を見つけたので試してみようと思います。
早稲田大学の、小坂さん、小林さん、林さんの研究です。

論文ではQスコアというスコアを提唱していて、このスコアが高い小説が隠れた良作である可能性が高いとのことです。

評価方法

手持ちのデータだけで計算できそうなので早速やってみます。
今回は、ジャンルがハイファンタジーのもの(約6.5万件)のうち、論文に従い評価人数が10人以上(約1万件)を対象にしました。

対象小説のQスコアを算出し、上位20本について主観的に評価します。
ジャンルをハイファンタジーとしたのは、私が普段から一番沢山読んでいるジャンルなので比較的ぶれない評価ができると考えたためです。

とはいえ、実は試してみる前から私の主観的評価とQスコアはだいぶ異なっているだろうな、という予想はしていました。念のために言っておきますがQスコアの性能が悪いという事ではなく、単に私の考える良作とQスコアが評価しようとしている良作は根本的に違う物だと思えるからです。

Qスコアの計算方法は論文に譲りますが、簡単に言えばレビュー者の評価スコアをもとにランキングでは表出しない小説を探すことが目的です。

一方、私が普段から探しているのは「文章としてより洗練されたもの」です
具体的には
・人称
・文体
・誤用
・重複表現
・漢字、ひらがなの使い分け
・副詞の位置
・情景描写の量
・語彙や表現の多様性
・使い古された語彙や表現
・速度観
・不適切な言葉
といったあたりを気にしながら読んでいきます。ストーリーやキャラクターは二の次です。

タイトル詐欺みたいで申し訳ないのですが、隠れた良作を発掘できるかというより、Qスコアが自分の目的に使用できるか試してみた、というのが本当の所です。

結果

スコアの高い20作品を実際に読んで評価しました。

このジャンルは数百作品読んでいると思いますが、以前読んだことがある作品は0でした。隠れた作品を選出するという目的にはよく合致しています。

冒頭数回を読んで、続きを読んでみたいと思えた作品は1作品でした。普段は1/50ぐらいですから1/20というのは悪くないスコアに思えますが、偶々の可能性もあるのでもう少し沢山読んでみないと何とも言えません

一方、読み進めるのは辛いと感じたものは3作品でした。これは良い結果です。普段ならこの倍程度はあります。

まとめ

・今回、JSAI2020(第34回人工知能学会全国大会)の論文「隠れた良作の発掘を助けるWeb小説推薦システムの構成と評価」を試してみました。

・隠れた作品を探すにはよい指標になりそうです。

・私が求める洗練された文章を探すことにも一部利用できそうです。

評価というのは、当然レビュアー好みのストーリーやキャラクターに加えて文章表現も内包してますから、今回の指標による判定は妥当なところだと思います。
レビュアーの評価というのは正のフィードバックが強く出てしまいます。このため絶対評価として使用できないので別の指標を探したいというのが私のモチベーションなのですが、そもそも絶対評価なんかあるのかというレベルなので、なかなか道は険しいです。
そういった中で、本研究はレビュアーの評価をうまくノーマライズする事ができていて面白いと感じました。

この記事が気に入ったらサポートをしてみませんか?