AIと教育：ChatGPTを使ったレポート作成の実験

「和訳タイトル：人工人工AI: クラウドワーカーが広く使用するテキスト生成タスク用LLM」という変わったタイトルの以下の論文によれば、クラウドワーカーに文章の要約タスクを与えると、33％～46％の人がLLMを使用してラクをする（業務を自主的に効率化する）と推定されたそうです。

Papers with Code - Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks

• ほんまかいな、という気もしますが、人間はラクな方法が使える状況に置かれると、使うなと言われない限り、便利な道具を使うのは仕方がない気もします。（エクセル使える状況でも、あえて電卓をたたく殊勝なひともいるけれど…。）

• なお、この報告では、ChatGPT を使って要約された生成されたテキストは、ChatGPTの指紋のようなアーティファクトを検出することで、ほぼすべて検出できたとのことです。

使うなと言われたわけでもないなら、何が悪いんやと開き直りますけど、わたしは。😗

レポート課題を想定して、ChatGPTを使ってみた

• さて、個人的には、企業でChatGPTを使って生産性を上げるのは、成果物のクオリティや内容に対する責任を担保できるのであれば、積極的にガンガン使えばいいという考えですが、LLMの使用は、教育目的だと確かにいろいろ議論もありそうです。

• というわけで、学生になったつもりで、ChatGPTを使ってレポート課題をするとどんな感じか体験してみました。

大学教養課程レベルのレポート課題として「ChatGPTの技術的背景」をテーマとした
レポートを作成したいです。まずは、レポートの構成を提案してください。

大学のレポートにおいては、主題の理解を深め、研究を行い、それを体系的に表現することが重要です。ChatGPTの技術的背景をテーマにする場合、以下のような構成を提案します。
１．序章: この部分では、レポートの目的や目標を明確にします。ChatGPTとは何か、なぜその技術的背景を理解することが重要なのかについて説明します。
２．人工知能と自然言語処理の背景: ここでは、人工知能と自然言語処理（NLP）の基礎知識を説明し、それらがChatGPTの基盤となっていることを明らかにします。
３．深層学習とトランスフォーマー: 深層学習とは何か、またそれがどのようにNLPに影響を与えたかを説明します。さらに、トランスフォーマーというモデルの説明とその重要性を解説します。
４．GPTとその進化: ここでは、OpenAIによって開発されたGPT (Generative Pretraining Transformer)の詳細について述べ、その進化とGPT-1からGPT-4までの変遷について説明します。
５．ChatGPTの技術的詳細: ChatGPTの具体的な技術的背景、モデルの訓練、限界とチャレンジについて掘り下げます。
６．ChatGPTの実世界への影響と倫理的考察: ChatGPTがもたらす社会的影響や倫理的課題について考察します。
７．結論: レポート全体をまとめ、技術的背景がChatGPTと社会にどのような影響を与えているかを再評価します。また、未来の研究方向についても述べるとよいでしょう。

むむ、さすがgpt-4の性能はすばらしいです。確かになかなか良い結果がえられました。

構成を出力してから、ChatGPTに注文を入れながら各章ごとの具体的な内容のLaTeXソースの生成を行っていったのですが、ほどなくgpt-4の使用制限のキャップに到達してしまいました。😅
というわけで、幸か不幸か現状では長めのレポートを、一夜漬けでgpt-4に書かせるのは難しそうです。 API経由のgpt-4で続けてもよいのですが、普通の学生はお金がありませんので、今回はやめときます。また、gpt-3.5-turboだと明らかに内容が薄っぺらくなって、さすがに及第点は取れない感じでした。

参考にgpt-4で出力できたところまで貼っておきます。
AIが生成していることを見破れるでしょうか。

ChatGPT.pdf

18.2 KB

ファイルダウンロードについて

ダウンロード

残念ながら(?)今回は、gpt-4のパラメタ数に関して公開情報でない数値が出力されており、ハルシネーションが起きていると思われるので、ここでバレると思いますが、これがなかったら、少なくとも私には見破れないかも。 😁

やってみた感想

レポート作成の課題に取り組んでみて、私は大学以降の段階では、ChatGPTなどのLLMも積極的に使う前提で成果物に対する要求レベルを上げるのが良さそうな感想を持ちました。

• 文献調査を主体とするレポートであれば、教員側も学生がChatGPT等も活用していることを前提にして、成果物に必要な要点が適切に書かれているかのみを採点基準にしても良いと思いますし、逆に採点にも何らかのLLMを補助に利用してもよさそうです。

• また、深い考察や複雑な検討を要するレポートであれば、さすがにgpt-4でも難しい場合もあるでしょうし、仮にLLMを活用したものであっても 、学生が適切な情報をチェリーピッキングできる能力があるのであれば、それはそれで学生の能力を評価してもよいと私は思いました。

ともかく、LLMの使用を認めるにしても、認めないにしても、教員の方々はAI時代に即した課題を作るのは大変そうです。おつかれさまです。

みなさんは、どう思いますか。
ここまでお読みいただきありがとうございました。

おしまい