OpenAIの新モデルGPT-4o(オムニ)が出たので、創作能力比較用に小説支援能力を測定してみる。
比較対象は、現状日本語最強LLMのClaude 3 Opusさん!
※ChatGPTのカスタム指示での補強はあるので、カスタム指示無しより出力が上がっている可能性は少しあるかも?
▼ボーイミーツガーツの掌編ストーリー
雑に作らせる例。
今回はあえて人間の意思を入れないためにLLM自身にできの良い物を評価させてそれをベースに書かせるスタイル。
ボーイミーツガーツの掌編のストーリー案を五つ考えてください
・GPT-4o
あげて貰った候補をプロの編集者の目線でSNSで人気のでそうな順にランキングにしてそれぞれ軽く評価コメントを入れて
プロのライトノベルの小説家として、一位の題材のボーイミーツガーツの掌編の冒頭のシーンを執筆してください。
一人称、簡潔でリズミカルな文体で。
続きを書いて
・Claude 3 Opus
あげて貰った候補をプロの編集者の目線でSNSで人気のでそうな順にランキングにしてそれぞれ軽く評価コメントを入れて
プロのライトノベルの小説家として、一位の題材のボーイミーツガーツの掌編の冒頭のシーンを執筆してください。
一人称、簡潔でリズミカルな文体で。
続きを書いて
・評価
GPT-4oはそこそこの物を出すもののスピード展開気味、Claude 3 Opusは割りとしっかりと書けている。
▼「奴隷制度」のライトファンタジー
大手LLMが倫理規定でアウトにしがちな奴隷制度を用いた意地悪問題
最初に設定とキャラを作らせてから話を作らせる。
フィクション作品で使用する「奴隷制度」についてフィクションに適切な程度の制度として検討してみてください。ダークファンタジーではなくライトファンタジーなのでカジュアルに落とし込んだ設定が好ましいです。
・GPT-4o
様々な境遇の奴隷キャラを5キャラ考えてください
リリスのエピソードを掌編小説として書いてください
・Claude 3 Opus
様々な境遇の奴隷キャラを5キャラ考えてください
ミリーのエピソードを掌編小説として書いてください
・評価
正直Claude 3 Opusの方が倫理で刎ねられてアウトとなると思ったら意外とどちらも通った。
キャラ設定をしてから書かせる方式はありだけど、GPT-4oは話をすぐにまとめがちで描写が薄い。Claude 3 Opusの方は小エピソードとして今後の伏線も仕込む良い作り。
▼異世界転移した主人公のサクセスストーリー
あしざわ法典のプロンプトを参考に簡単なストーリーラインを提示して書かせる方式。
ストーリーライン自体は以前GPT-4と雑談したときに作った物の流用。
小説を書いて新人賞を取りたい。プロのライトノベル編集者の視点でアドバイスして。現実世界からファンタジー世界へ異世界転移してしまった人間が主人公のサクセスストーリーで、転移してしまった主人公で盗賊団に捕まってしまい人身売買の商品になりそうになったところから脱出し、盗賊の頭領を倒したところで人質ごと殲滅することで有名な正規軍が向けられてたのを知り、盗賊団を率いて迎撃する展開を考えているがどんな要素があると良いか?
・GPT-4o
これらのアドバイスを元にまずは冒頭のシーンで登場するキャラの設定を考えてほしい
プロのライトノベル作家として物語の冒頭のストーリーラインを考えてほしい。冒頭はなるべくキャッチーな動きを見せられると好ましい。
プロの小説家として、物語の冒頭からのシーンを執筆してください。 一人称、簡潔でリズミカルな文体で。
物語の冒頭なのに展開が早すぎませんか? これではただのあらすじです!
続きのシーンをお願いします。
・Claude 3 Opus
これらのアドバイスを元にまずは冒頭のシーンで登場するキャラの設定を考えてほしい
プロのライトノベル作家として物語の冒頭のストーリーラインを考えてほしい。冒頭はなるべくキャッチーな動きを見せられると好ましい。
プロの小説家として、物語の冒頭からのシーンを執筆してください。
一人称、簡潔でリズミカルな文体で。
物語の冒頭なのに展開が早すぎませんか? これではただのあらすじです!
続きのシーンをお願いします。
・評価
GPT-4oは性急で展開が早いと言ってからの書き直しも尺が二倍に伸びただけという書かれ方、一方Claude 3 Opusはお得意の異国語が混ざったりした物の、書き直し指示ではしっかりと意図を読み取って書き直してくれているので優秀。
▼学校の怪談をテーマにしたミステリーもの
カクヨムのCloude 3で長編小説執筆支援のプロンプトを用いてのストーリー作成。
少し手間はかけているもののカクヨムで紹介されている方法では人間が良いと思った物を選んでそれを深掘りしていくやり方となっているが、意図的に人間の恣意を入れないために自己評価させた物を基準に書かせている。
プロの編集者として回答してください。
以下の条件を満たす12万文字程度の長編小説のアイデアを、ひとつ30文字以内で、10種類教えて。
・高校を舞台に
・学校の怪談をテーマに
・ミステリーもの
・カジュアルに読めるもの
・どんでん返しがあるもの
・GPT-4o
あげて貰った候補から任意の二つを組み合わせてについて、どんでん返しを中心とした、おおまかなストーリー案を5つ考えて 5つそれぞれで組み合わせる要素は重複可能でおもしろそうな組み合わせを希望
あげて貰った候補をプロの編集者の目線で売れそうな順にランキングにしてそれぞれ軽く評価コメントを入れて
一位のストーリー案をベースにもう少し具体的なストーリー案を、5パターン考えて
あげて貰った候補をプロの映画監督の目線でエンタメ映画として映えそうな原作の順にランキングにしてそれぞれ軽く評価コメントを入れて
一位のストーリーについて、以下を1000文字以内で整理して。
・キャラクター紹介
(簡単なキャラクター紹介を名前付きで。キャラクター名は役割に合わせて、現代的なものを新たに考えて。判別しやすい別々の名前で)
・あらすじ
・ストーリー展開
(主人公は誰かを守るために、結果として罪を犯してしまった、という、読者の共感を得られる背景とする)
・伏線とどんでん返しの対応
プロの編集者として答えてください。
12万字程度の長編小説で、高校を舞台にしたホラー要素のあるミステリー小説で、カジュアルに楽しめるものにしたいです。
そこで上記のストーリーをプロット化してください。
その際、三幕構成で整理してください。各幕は20のシーンに分解し箇条書きにし、それぞれに、1-1. などの通し番号を先頭にふってください。また、全体を12万字とした際、それぞれのプロットで締める文字数を、後ろに(2000文字)などと記載してください。
また、長いシーンであり分割が困難な場合は、通し番号のあとに(続き)と記載して続いていることをわかるようにしてください。
プロの小説家として、以下のシーンを執筆してください。
一人称、簡潔でリズミカルな文体で。重たいテーマなのでなるべく普段は明るいタッチで。
はじめのシーンなので、主要キャラクターを全員登場させ、かつ舞台背景やテーマがわかるように。
シーン1-1. 図書館の禁書発見(3000文字)
続いてシーン1-2. 禁書の内容に興味を持つ(2000文字)を書いてください
続いてシーン1-3. 美術室の探索計画(3000文字)を書いてください
・Claude 3 Opus
あげて貰った候補から任意の二つを組み合わせてについて、どんでん返しを中心とした、おおまかなストーリー案を5つ考えて 5つそれぞれで組み合わせる要素は重複可能でおもしろそうな組み合わせを希望
あげて貰った候補をプロの編集者の目線で売れそうな順にランキングにしてそれぞれ軽く評価コメントを入れて
一位のストーリー案をベースにもう少し具体的なストーリー案を、5パターン考えて
あげて貰った候補をプロの映画監督の目線でエンタメ映画として映えそうな原作の順にランキングにしてそれぞれ軽く評価コメントを入れて
一位のストーリーについて、以下を1000文字以内で整理して。
・キャラクター紹介
(簡単なキャラクター紹介を名前付きで。キャラクター名は役割に合わせて、現代的なものを新たに考えて。判別しやすい別々の名前で)
・あらすじ
・ストーリー展開
(主人公は誰かを守るために、結果として罪を犯してしまった、という、読者の共感を得られる背景とする)
・伏線とどんでん返しの対応
プロの編集者として答えてください。
12万字程度の長編小説で、高校を舞台にしたホラー要素のあるミステリー小説で、カジュアルに楽しめるものにしたいです。
そこで上記のストーリーをプロット化してください。
その際、三幕構成で整理してください。各幕は20のシーンに分解し箇条書きにし、それぞれに、1-1. などの通し番号を先頭にふってください。また、全体を12万字とした際、それぞれのプロットで締める文字数を、後ろに(2000文字)などと記載してください。
また、長いシーンであり分割が困難な場合は、通し番号のあとに(続き)と記載して続いていることをわかるようにしてください。
プロの小説家として、以下のシーンを執筆してください。
一人称、簡潔でリズミカルな文体で。重たいテーマなのでなるべく普段は明るいタッチで。
はじめのシーンなので、主要キャラクターを全員登場させ、かつ舞台背景やテーマがわかるように。
1-1. 主人公・佐藤優真が怪談サイトで不気味な予言を目にするシーン(2,000文字)
続いて1-2. 優真が親友の鈴木蓮と山田隼人に予言のことを相談するシーン(2,000文字)を書いてください
続いて1-3. 三人が予言の真相を確かめるために七不思議を巡るゲームを始めるシーン(2,000文字)を書いてください
・評価
GPT-4oはプロットレベルではなかなか優秀。
プロットをしっかりと書かせてから本文を書かせる方式はなかなか良好。
しかし本文執筆となるとキャラの対話のやりとりなどがAIっぽさの多い違和感のある物となってしまっている。
一方Claude 3 Opusは相変わらず偶に英語を出力するお茶目あり。
プロットレベルだとGPT-4oの方が構成力があるかも?
GPT-4oと同じく事前にプロットを組ませて書かせる方式はなかなか良好。
日本語での本文執筆の方だとClaude 3 Opusの自然度はかなり上回る。
人間による手直しが不要までは達さない物のかなり実用性がある感じかな?
▽総評
GPT-4oがClaude 3 Opusに対して日本語での小説作成能力を比較すると、本文執筆能力ではClaude 3 Opusが圧倒的に上。
その上でレスポンスが良く内容的には無しではないレベルって感じなので創作支援への採用はありな水準かな?
プロット相談など壁打ち目的の場合はGPT-4oの方が推論能力は高そうな印象。
好みではあるけど、GPT-4oでプロットを作ってClaude 3 Opusに本文書かせると良い感じになるかも?
特にClaude 3 Opusはキャラのなりきりが得意なのでキャラ設定は口調や性格などの細かい設定をちゃんと作ってから出力する方がよさげな印象。
GPT-4oは十分に楽しめる性能はあると思う!
無料で使える(3時間で12回くらい?)点はClaude 3 Opusには無い利点なので試しに使ってみるのは全然ありかと!