異なる生成AI間での英作文フィードバックにおける違い
英作文やエッセイライティングの学習において生成ＡＩの活用はますます重要になっています。私も今年度、エッセイライティングの指導を伴う授業において生徒に生成ＡＩを使ってフィードバックを得る術を紹介していこうと考えています。
私の知る限りでは、高校生が英語エッセイへのフィードバックを得る際に使えるプロンプトとして、以下の２つが有用です。
柳瀬陽介先生のプロンプト
髙木俊輔先生のプロンプト
これらのプロンプトはChatGPTで使うことを想定していますが、ChatGPTを使うためにはOpenAIのアカウントを作成する必要があります。DeepL Writeのようにアカウント登録なしで使えるサービスに比べると、生徒にわざわざアカウントを作成させるのが若干の手間でありハードルでもあると感じます。最近ではChatGPT以外に様々な生成ＡＩサービスも登場していますので、もっと手軽に使わせることができる生成ＡＩはないかと思い、ChatGPTだけでなくGeminiやCopilotでも英作文フィードバックのプロンプトを試してみようと考えました。
使用したプロンプト
高校生が自由英作文へのフィードバックを得るのに使えるプロンプトについて、柳瀬陽介先生のプロンプトや髙木俊輔先生のプロンプトを参考に色々と試してみました。結果、高木先生のプロンプトが、修正箇所を太字で示されたり、修正を理由とともに表形式で示してくれるなど、生徒（学習者）にわかりやすい仕様になっていると感じ、こちらをベースにさせていただくことにしました。
柳瀬先生も試行錯誤なさっていたように、修正フィードバックと理由を日本語で示すことができるか否かは、現時点ではGPT-3.5（無料版）とGPT-4で異なるようです。GPT-3.5だとどうしてもフィードバックのみを日本語で出力するということができないようで、日本語フィードバックを求めるなら有料版が必要になるということです。結果、柳瀬先生は日本語のフィードバックを諦めて、その分学生が気楽に無料版で使えるプロンプトをご提案されています。高木先生のプロンプトもその点を考慮されてか、日本語での修正フィードバックを求めていません。
この点に関して、ChatGPT以外のサービスにおける動作確認が不明でしたので、今回の試行においてはダメ元で日本語での修正フィードバックを求めてみることにしました。というわけで、今回私が利用したプロンプトは、高木先生のものを元にした以下のようなものになります。
# ROLE
You are an English instructor dedicated to CEFR's B2-level learners. Your English is always within the B2 level. You are also an experienced coach who understands the difficulties foreign language learners face and encourages them to continue learning.
# GOAL
Your goal is to help students become better writers of English.
# TASKS
Execute the following tasks step by step.
Step 1: Read the student's text delimited by three dashes thoroughly and restate the passage as they are, marking the parts that include errors in bold so that the student can easily recognize them.
Step 2: Carry out the correction for word usage, spelling, grammar, and punctuation only.
Step 3: Create a table to show the corrections and reasons why they need to be corrected. The first column needs to be the prior version in English, the second column is to show the revised version in English, and the third column is to explain why you correct them in terms of grammar and word usage. Provide the explanations in Japanese.
Step 4: Write a short feedback message in Japanese for the student to be a better writer of academic English by showing their strengths. In the feedback message, focus on what the student achieved and show the next necessary small step that is achievable for the student.
- - -
ここに添削したい英文をコピー
- - -
使用した生徒解答例
生徒の解答例として、以下のものを使用しました。
I disagree that parents should limit the amount of time their children spend online. First If children dont know how to use smartphone and computer, they will be in trouble in the future. In addition, we are now in an era where can deepen our friendship by keeping in touch with apps such as LINE and playing online games together. Second, by using a smartphone or computer, children can expand their hobbies and study. Children can check what they interested in on Google, connect with people who have the same interests on Twitter and use Roiro Note to hep the school learn.
文法語法上の誤りが複数見られますが、一読して意味理解を阻害するようなエラーは多くありません。理解を阻害するglobal errorと認められるのは最後の一文における "hep the school learn" くらいでしょうか。ここをどのように修正＆フィードバックするかが、見どころの一つとなりそうです。
試したＡＩ
今回は、同じプロンプトを異なる生成ＡＩサービスで使ったらどのような結果が得られるかを検証したいと思っています。使ってみた生成ＡＩは以下のものです。
ChatGPT 3.5 / GPT-3.5（無料版）
ChatGPT 4 / GPT-4（有料版）
Gemini（Google; 無料版）
Copilot（Microsoft Bing; 無料版、アカウントなし）
DeepL Writeの添削はどうか
生成ＡＩの検証を進める前に、DeepL Writeで生徒解答例を添削してもらいました。DeepL Writeの最大のメリットは、アカウント登録もログインもせず、ブラウザ上で使うことができる点です。
ところどころ意味の分からない修正もありますが、全体としては十分な添削が得られていることが確認できます。最後の一文も、"help with schoolwork" と適切に修正されています。
この結果からは、添削を得るだけならばDeepL Writeで十分だと言えます。ただ、どうしてその修正が必要かについての説明はないので、生成ＡＩを活用する利点は修正理由のフィードバックであると言えます。つまり、修正理由をどの程度提供してくれるかが、どの生成ＡＩが有用であるかの大きな指標になりそうです。
ChatGPT 3.5 / GPT-3.5（無料版）
では、生成ＡＩを用いたフィードバックの検証です。まずはGPT-3.5から。GPT-3.5は無料で利用できますが、アカウント登録が必要となります。
無料版にしては十分なフィードバックではないでしょうか。修正を太字で示せていない箇所があったり、表の中の修正前後の記載が不十分であったり、細かいことはあるにせよ、プロンプトで求められた事柄をほぼ忠実に実行してくれています（そうなるように柳瀬先生や高木先生が組んでくれているので、当たり前ではありますが）。
気になる修正理由のフィードバックですが、今回の検証では日本語で説明してくれました（説明の内容はあまり有用には見えませんが…）。ただし、何度かプロンプトを実行してみると、このように日本語での説明が出てくる時と出てこない時があり、不安定であると感じました。
ChatGPT 4 / GPT-4（有料版）
今度は有料版のGPT-4です。比較のために検証してみましたが、有料ですので実際に生徒に使わせることは想定していません。
ここでの検証では、修正の質、またその説明ともに、無料版のGPT-3.5とあまり違いを感じません。最後の一文の修正は "help their school learn" となっており、これに関してはむしろGPT-3.5の方が良い修正を提供しています。柳瀬先生や高木先生の試行錯誤においてネックになっていた「日本語での修正箇所の説明」をGPT-3.5でクリアしてしまっているため、この検証においては有料版GPT-4にメリットは特になかったという結果になります。
Gemini（Google; 無料版）
続いてGoogleのGeminiです。無料ですが、利用するためにはGoogleアカウントでログインする必要があります。ただ、高校生に関して言えばおそらく多くの高校生がGoogleアカウントをすでに個人で所有していると思われるので、ChatGPTのように新たなアカウント作成が不要であるという点はメリットです。
元々ChatGPTで試行錯誤を重ねて作られたプロンプトを転用しているのでGeminiにとっては不利なところですが、遜色ないフィードバックを提供してくれています。不要な修正も含まれていますが、修正箇所の説明も日本語で提供していますし、最後の一文も "help with their schoolwork" という自然な修正になっています。気になるのはロイロノートをEvernoteに修正（!!）しているところですが、こういったところはGeminiのクセなのかもしれません。
Copilot（無料版、アカウントなし）
最後にCopilotです。MicrosoftのBing上で使います。Microsoftのアカウントを持っていなくても、無料でブラウザ上で利用できます。アカウント無しではＡＩとの対話が４往復に限られるという制限があるようですが、今回の検証のような英作文学習で使う分には十分でしょう。
ChatGPTやGeminiでの検証とはやや毛色が違う回答となりました。フィードバックを表形式で提供してくれず、修正理由も英語のみの提供になっています。英文の修正も文法的な修正にとどまらず、例えば最後の一文は "to enhance their learning at school" という修正が提案されています。
今回のCopilotでの検証ではChatGPTやGeminiとは異なるフィードバックが出力されましたが、時間をおいて何度か試してみるとそれらに似たアウトプットが得られるなど、その時によって結果は異なるようです。これは他の生成ＡＩについても同じであり、「このプロンプトを入れたらこう返ってくる」といったものではないということがよく分かります。
結論：どれも完璧ではない
４種類の生成ＡＩで検証してみましたが、結果としてはどれを使っても大差ないという印象でした。有料版のChatGPTでもフィードバックの質が劇的に変わることはなく、修正の説明は正直あまり大きく学習の役に立ちそうなものではありませんでした。どれを使っても大差はないので、学習者は自分の環境で使いやすいものを安心して使えばよいと言えるでしょう。
生成ＡＩの出力はある意味不安定で、同じプロンプトでもその都度アウトプットが変わることが改めて分かりました。プロンプトはExcelの関数のように「こう入れたらこう返ってくる」ものではないということを十分に理解すべきです。
従って、完璧なプロンプトなど存在せず、その意味で過度な期待は禁物です。生成ＡＩとの対話をしながらプロンプトを微調整したり、欲しい説明を求めたりしていく必要があります。また、DeepL Writeなどの非生成系のものも含めて、複数のものを横断的に活用できるのが理想とも思えます(和英、英和、英英など複数の辞書を使うように)。
教師が「正しい」プロンプトを学習者に提供するのではなく、あくまで教師が与えられるのはきっかけに過ぎません。生成ＡＩを使って英作文のフィードバックを得る行為は、まさにそれ自体が学習プロセスであることを、教師も学習者も十分に理解して活用すべきでしょう。
この記事が気に入ったらサポートをしてみませんか？