【検証】ChatGPTに共通テスト地学基礎のpdfごと丸投げ！正答率はどのくらい？
こんにちは。地学に関する情報発信をしているちーがくんと申します。
大規模言語モデルであるChatGPTは、共通テスト英語で9割の正答率を叩き出すほど評価されています。
しかし、知識や思考力が問われる地学基礎では、その正答率はどの程度なのでしょうか？英語同様に高い正答率を持つのでしょうか？
今回、その検証として共通テスト地学基礎2021の問題をChatGPTに解かせてみました。検証の過程やそこから見えてきた「ChatGPTにできること、できないこと」をご紹介していきます。
検証方法
地学基礎は科目の性質上、問題に図表やグラフが多く登場します。
どうやってチャットで送信するの？？と思われた方もいらっしゃるかもしれませんが、心配ご無用。
2023年11月頃に追加されたオリジナルChatGPTが作れる新機能「GPTs」では、pdfをデータとして読み込ませることができます。
そこで今回は、独立行政法人 大学入試センターが公開している過去問のpdfをGPTsに読み込ませて、解説用GPTsを作成しました。
こうして完成したのが令和3年度共通テスト地学基礎解説GPTです。
もはや丸投げ状態。流れを整理するとこんな感じです。
GPT4が搭載されたGPTsを使って共通テスト地学基礎2021の15問を解かせ、それぞれの解説の正確さを評価しました。
ここからChatGPTが考える解説も交えながら、詳しく各問題を見ていきたいと思います。
ChatGPTは共通テスト地学基礎2021をどう解いた？
問1
まずは問1。地震の知識に関する4択問題です。
早速怪しいです。結論として選択肢4を選んでいますが、解説を読むと選択肢2「緊急地震速報では、震源の近くの地震計でS波を観測して、P波に伴う大きな揺れがいつ到着するかを予測する。」も正しい選択肢としています。
緊急地震速報は震源近くの地震計で速度の早いP波を観測して発表されるので、誤った選択肢です。
問2
問2は、地球の形状についての頻出問題です。
地球が赤道側に膨らんだ回転楕円体であるという理解はありましたが、そこから分かる緯度ごとの長さの違いを誤解しています。
問3
問3は砕屑物の挙動について、グラフから読み取る問題です。
一見するとグラフを理解しているようでしたが、グラフの正確な読み取りには至らず、誤答でした。
問4
問4は、蛇行河川の時間の経過による変化と堆積環境の変化から、地層の柱状図を判定する問題です。
イラストが含まれた問題で正答は難しいかと思われたものの、正答するためのポイントを押さえていました。
問5
問5は岩石の分類方法についての問題です。
部分的に正しい解説をしているのですが、問題の趣旨を正確に理解しきれていないことや、チャートの見分け方などに誤解が生じています。
問6
問6は、マグマの冷却速度と結晶構造についての問題です。
問題の趣旨を正しく理解し、知識も正しく解説することができています。
問7
問7は、SiO2含有量と溶岩の粘度の関係を調べるための追実験問題です。
SiO2含有量の異なる玄武岩質の溶岩を選択することはできたものの、温度に関する判断は不十分でした。
問8
問8は、天気図の読み取り問題で、名古屋港の3時間の気圧変化を問われています。
問題の趣旨は理解していたものの、天気図の正確な読み取りをすることができませんでした。
回答に必要な画像がどれかが分かれば回答できるのでは？と考えて別で画像を添付して解かせてみました。
それでも結果は変わらず、細かい等圧線の読み取りはできませんでした。
問9
問9は、低気圧の風向と海岸線の形から吹き寄せ効果の関係を見る難易度の高い問題です。
添付された海面上昇量の表の読み取りはできていますが、図は認識できていないようです。
別で画像を添付したところ、台風中心の位置や大まかな位置関係は認識できていそうでしたが、正答には至りませんでした。
問10
問10は、地球温暖化に関する穴埋め問題です。
正しく文脈を理解し、適切な解答ができていました。
問11
問11は、温室効果に関する知識問題です。
こちらも正しい解答ができ、他の解説も正しいです。
問12
問12は、太陽の進化段階に関する問題です。
太陽が主系列星であることを把握しているようです。（50億年後までは知識のアップデートは不要ですね！）
問13
問13は、宇宙の進化に関する知識問題です。
今回の知識の中では1番難しい問題です。選択肢1が「宇宙の誕生から約%秒後までに、水素とヘリウムの原子核がつくられた。」となっていて正しく認識されていないですが、それでも正しい選択肢2を見過ごしてしまっています。
問14
問14は、天体の種類識別問題です。
初めは対応する図がどれか自力で探すことが出来ませんでした。
このように別で画像を与えたところ、画像から渦巻き銀河を正しく識別することができていました。
問15
最終問題の問15は、グラフや図からの読み取りが必要な問題です。
それらしい解説をするものの、やはりグラフからの読み取りが難しく、誤答でした。
総合評価
結果は全15問中7問正解で、GPT4の正答率は約47％という結果でした。
これは受験生平均の67％と比べて低い結果です。
どうしてこのような結果となったのか、深掘りしてみてみます。
ChatGPTが得意なこと
pdf丸投げでも意外と問題の意図を読み取ってくれる！
まず驚いたのが、丸投げでも問題の意図や選択肢を理解してくれるということです。
今回GPTsを作成してからは、ただ「設問◯を解説して」といった指示しか出していないにも関わらず、解説してほしい問題を解説してくれました。
わざわざpdfを見て手打ちしなくとも「問題の趣旨を理解する」ということはおおむねできていそうです。
特に英語文献が豊富にある分野の単純な知識系問題は強い！
次に感じたのが、知識問題の正答率です。
全問正解とはいかないものの、今回の検証では知識問題は比較的高い正答率を示しました。
中でも感じたのが「英語文献がありそうな情報は強い」ということ。
ChatGPTの知識は英語情報がベースになっていると考えられます。そのため、地球温暖化や温室効果の基礎知識は難なく正解していました。
一方、日本の緊急地震速報の仕組みなど、英語文献が少なそうな情報は誤った情報を教えられることが多くありました。
画像が何かは認識できる！
さらに驚いたことは、画像の認識機能が思いのほか高いということです。
グラフや天気図の読み取りという高度なことは今はできずとも、この画像が渦巻銀河であるということを認識する能力を持っていることには驚きました。
ChatGPTが苦手なこと
思考系の問題は苦手！
まずChatGPTが苦手だったのは、仮説を立証するためにはどんな追実験が必要かを考えるといった思考系の問題。
この問題は、玄武岩質ではなく安山岩質の溶岩を使う必要があるというところまでは考えられているのですが、仮説の立証のために温度の条件を変えてはいけないというところまで考えられておらず、正答できていません。
知識→図形に落とし込んで考えることが苦手？
これも先ほどの思考力と関連してくるのかもしれませんが、知識を基に図形に落とし込んで考えるというところができていない印象を受けました。
問2では「赤道付近方向に広がった回転楕円体」というところまでは知識で補っていると思われるのですが、そこから踏み込んで「じゃあ子午線弧の長さは極側の方が長いはずだ！」といった思考ができていませんでした。
知識で持っていない問題を図形で考えて補うというところまでは、まだChatGPTは至っていないようです。
グラフや天気図の読み取りが苦手！
最も多く見られたのが、グラフや天気図の読み取りに対する苦手意識です。
例えばChatGPTを苦しめたこのグラフ。解説文から判断するに、大まかな台風中心と各港の位置関係は判断できていますが、細かい等圧線の読み取りができていません。
名古屋港の3時間の気圧変化を読み取るこの問題でも、「名古屋港」という文字の近くにある980という文字のみを読んでいるためか、気圧変化なしという回答でした。
グラフの詳細な読み取りという点では、まだ苦手なところがあるようです。
ChatGPTは受験勉強で使えるか？
これらの結果を踏まえて、ChatGPTは受験勉強に使えるかということを考えてみたいと思います。
結論からいうと、地学系の科目の指導をChatGPTにお願いするのは難しいと感じました。
ChatGPTは適切な解説も示していましたが、間違った回答も多くみられました。正答していた問題でも一部解説に誤りがあるということもありました。
そのような状態では、たとえ出力された内容が正しくとも不安が残ります。
ChatGPTの解説がそのまま過去問解説の代わりになるということは難しいと思いますが、学んだ内容を文字にして、それを分かりやすくマインドマップにまとめてもらう、ChatGPTに質問を投げかけてもらって到達度チェックをするなどの活用法はありそうです。
まとめ
今回は、共通テストの中でも知識や思考力が問われる地学基礎をChatGPT丸投げし、正答率をみてみました。それによりChatGPTが得意なこと、苦手なことが見えてきました。
同時に、地学を勉強することにより得られる知識や思考力はまだまだAIに代替されないということも再確認することができました。
少しでもこの記事が参考になったという方は、スキ、フォローなどしていただけるととても励みになります。
X(旧Twitter)やブログでも地学に関する情報を発信しています。本記事の感想などもぜひお寄せ下さい。
最後までお読みいただき、ありがとうございました！
余談
本記事の目的はChatGPTの精度を検証するものであったため、問題の解説は最小限に留めました。
より詳しい解説が知りたい！という方へ向けて、今回取り上げた共通テスト地学基礎2021をこちらの動画でも解説しています。ぜひご覧下さい！
■【徹底解説編】共通テスト地学基礎2021【全問過去問解説】
■【スキマ復習編】共通テスト地学基礎2021【全問過去問解説】
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？