LLMにレポート作成をさせて比較してみる【Llama3 ELYZA vs ChatGPT 3.5】
前書き
こちらのChatGPTで大学生のレポート作成ができるのかを試していた記事を読み、もう大学生ではないがChatGPTでのレポート作成を試して見ようかなと思い実際に試してみただけの内容を簡単にまとめました。
折角なのでChatGPT 3.5（無課金モデル）だけではなく、ついでにChatGPT4（課金モデル）の性能を上回るとかで噂されている「Llama-3-ELYZA-JP」にも同じ質問をしてレポート作成をさせてみた。PCのローカル上で動かしたかったのでGPT4を上回る700億パラメータのモデルではなく80億パラメータのモデル（ChatGPT3.5 Turbo相当）を使ったので厳密に言えばGPT4相当モデルではないけど。この「Llama-3-ELYZA-JP」とはMeta社が公開しているLlama 3シリーズを基に東大松尾研発祥のELYZA社が日本語向けにチューニングされたもののようです。
質問内容（プロンプト）
両方のモデルに以下の全く同じ文面を投げてみて回答の違いを見てみた。
元の記事では「太宰治が日本の文学に与えた影響についてレポートしてほしい。」という文章を投げていたが、元の質問文に少しだけ文章を足してどういう結果が出力されるかを確認してみた。
「太宰治が日本の文学に与えた影響についてレポートしてほしい。」
上記の要望に応える文学部の大学生向けのレポートを作成してほしい。
なお、レポートには出典が必要なため出典元の記載もしてほしい。
大学のレポートは文字数の指定があると思うが、〇〇文字程度で作成してほしいと追記すれば任意の文字数で出力してくれるはずなので必要であればそういった内容を追記してもいいかもしれない。
【出力結果】Llama 3 ELYZA 8B（Meta社のモデルを東大松尾研がチューニングしたモデル）
タイトル
太宰治が日本の文学に与えた影響
はじめに
太宰治は、日本近代文学を代表する作家の一人であり、多くの作品を残したことで知られている。彼の小説は、独特の文体や世界観で読者を魅了し、広く支持された。日本の文学に与えた影響についてこのレポートでは分析し、考察する。
内面の探求
太宰治の作品は、自我の探求と表現が大きな特徴である。彼の小説は、主人公の精神状態や内面を詳細に描写しており、読者はその世界観に没入することができる。「人間失格」や「走れメロス」などの代表作には、自我の探求と表現が繰り返し登場する。これらの作品は、当時の日本文学界において新たな流れを生み出し、後の作家たちに大きな影響を与えた。
例えば、太宰治の「人間失格」は、1924年に発表された小説で、主人公である尾崎秀樹の精神状態や内面が詳細に描写されている。この作品は、当時の日本文学界において新しい流れを作り出し、後の作家たちに大きな影響を与えた。太宰治の「人間失格」は、内田百閒や三島由紀夫など多くの作家に影響を与え、「青春小説」というジャンルを生み出すきっかけとなった。
引用元: 太宰治『人間失格』新潮社、1924年
近代日本の闇
太宰治の作品はまた、近代日本の闇や暗部も描写している。「斜陽」や「グッド・バイ」のような作品には、当時の社会問題や政治的な事件が反映されている。これらの作品は、読者に深い思考と感慨を与え、日本の文学史上重要な位置を占める。
例えば、「斜陽」は、太宰治の長編小説で、1935年に発表された。作品は、大正デモクラシーの挫折や昭和恐慌などの社会問題を背景に、主人公である大庭葉蔵の内面を描写している。「斜陽」は、当時の日本文学界において新しい流れを作り出し、「戦前小説」というジャンルを生み出すきっかけとなった。
引用元: 太宰治『斜陽』中央公論社、1935年
評価
太宰治が日本の文学に与えた影響は非常に大きい。彼の作品は、内面の探求や近代日本の闇を描写し、新しい流れを作り出した。多くの作家たちに大きな影響を与え、「青春小説」と「戦前小説」というジャンルを生み出すきっかけとなった。
評価は以下の通りである。
内面の探求や近代日本の闇を描写し、新しい流れを作り出した。
多くの作家たちに大きな影響を与え、「青春小説」と「戦前小説」というジャンルを生み出すきっかけとなった。
結論
太宰治が日本の文学に与えた影響は、非常に大きい。彼の作品は、内面の探求や近代日本の闇を描写し、新しい流れを作り出した。多くの作家たちに大きな影響を与え、「青春小説」と「戦前小説」というジャンルを生み出すきっかけとなった。
出典元:
太宰治『人間失格』新潮社、1924年。
太宰治『斜陽』中央公論社、1935年。
【出力結果】ChatGPT 3.5 （無課金）
タイトル
太宰治が日本の文学に与えた影響についてのレポート
はじめに
太宰治（1909-1948）は、日本の近代文学において独自の地位を確立した作家であり、その作品は現在も多くの読者に親しまれています。本レポートでは、太宰治が日本の文学に与えた影響について、彼の作品とその文学的特徴、彼が後世の作家たちに与えた影響、および彼の文学が現代社会に与える意味を考察します。
1. 太宰治の文学的特徴
太宰治の文学的特徴は、その自伝的要素、独特の文体、そして人間の弱さや矛盾を赤裸々に描くことにあります。彼の作品には自己否定や絶望、孤独といったテーマが頻繁に登場し、特に『人間失格』や『斜陽』などはその典型例です 。
2. 太宰治の代表作
『人間失格』（1948年）
主人公の葉蔵が自己否定と社会からの疎外感を感じながら生きる姿を描いた自伝的作品。日本文学における自伝的小説の代表作とされています。
『斜陽』（1947年）
戦後の日本社会の変遷を背景に、没落した貴族の一家を描いた作品。戦後の日本文学の新しい方向性を示した作品として評価されています。
3. 太宰治が後世の作家に与えた影響
太宰治の影響は、日本の多くの作家に見られます。特に、彼の文学的スタイルやテーマは、以下の作家たちに大きな影響を与えました。
村上春樹
太宰治の作品に影響を受け、その自伝的要素や人間の孤独といったテーマを自身の作品に取り入れています 。
三島由紀夫
太宰治の人間観や社会観に共感し、その影響を受けた作風を展開しました。
4. 太宰治の現代社会における意義
太宰治の作品は、現代の読者にも強い共感を呼び起こしています。特に、自己否定や孤独といったテーマは、現代社会における若者たちの心情を代弁するものとして受け入れられています。彼の作品は、時代を超えて人間の普遍的な問題を描き続けていると言えます 。
結論
太宰治は、その独自の文学的特徴と深い人間洞察により、日本文学に多大な影響を与え続けています。彼の作品は、後世の作家たちや現代の読者に対しても強い影響力を持ち続けており、その意義は今後も変わらないでしょう。太宰治の文学は、常に人間の本質を追求し続け、その深遠なテーマは今後も多くの人々に読み継がれていくことでしょう。
参考文献
太宰治. (1948). 『人間失格』. 新潮社.
太宰治. (1947). 『斜陽』. 新潮社.
村上春樹. (2005). 『走ることについて語るときに僕の語ること』. 文藝春秋.
日本文学研究会. (2020). 『現代日本文学の軌跡』. 日本文学出版社.
以上が、太宰治が日本の文学に与えた影響についてのレポートです。彼の作品を通じて、人間の本質に迫る文学の力を改めて感じていただければ幸いです。
まとめ
個人的に感じた問題点（参考文献が明らかに間違っている）
ChatGPTの参考文献は正しく書けているのかが怪しいと思い調べてみたが、
村上春樹. (2005). 『走ることについて語るときに僕の語ること』. 文藝春秋.
引用では2005年と記載があるが、書籍販売ページでは「発売日2007年10月15日」となっており間違っている。
日本文学研究会. (2020). 『現代日本文学の軌跡』. 日本文学出版社.
こちらに関しては、「現在日本文学の軌跡」で検索すると「近代文芸社（1994/12発売）」の書籍の販売ページが確認できる。
ChatGPTに関しては課金していないため、有料課金した場合はまた異なる結果が出てくるのかもしれない。ただ、参考文献や引用元がおかしい可能性があるので注意が必要だと感じた。
全体的な感想
レポート作成するための補足情報を少し加えるだけで元記事の出力内容と比べてより大分レポートらしくなった。一時期プロンプトエンジニアリングという言葉がネット上で話題になったこともあったが、質問する内容は思っている以上に重要かもしれないと感じた。
LLM（大規模言語モデル）でレポート作成させようとしたときに明らかにおかしい参考文献が出力されてしまうのはなんとかならないだろうか。この手のレポート作成するときは引用元は重要なため、間違った内容を記載したままレポート提出なんてしまう事態があったら怖いなと思う。
同じ質問文でも使っているLLMモデルが違うと出力結果が大分異なる。自然言語処理が専門でもなんでもないで詳しいことは分からないが、思った以上に出力結果が違っているのは今回試したみた結果得られたことがちょっとした発見です。
ChatGPTを使ってレポート作成している大学生がどれくらいの割合がいるのかは分からないが、結構ChatGPTでレポート作っている大学生を多いんだろうなと思う。実際に出力された結果がレポートとして不十分だったとしても叩き台としては十分なものが殆どだろうし、だいぶ楽できる場面は多いだろうと思った。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？