ChatGPT (3.5) ～分野別主観的採点～

ChatGPTは相談する分野により解説の質にばらつきがある。これは、ChatGPTが論理構造を把握するのが不得意な点と、学習データのバイアス、ユーザーフィードバックの質の高低バイアス、OpenAIが重視するユースケースに当てはまっているかどうかが関連していると思われる。

人文科学

契約書や規約文書の作成…〇
法律に関する相談における「免責事項モード」があるのにもかかわらず、具体的な要件や草案の作成としての利用目的を説明すれば、十分有用な質問回答や、法的文書の草案を得られる。また、一般的とは言えない特殊な法的要件や、一定の法的リスクを許容するラジカルな問いかけに対しても、実用的な回答と解説が得られる。一方で、具体的な判例は捏造される傾向にある。また、準拠法は基本的に英米法である。日本法についての知識を与えればそれにのっとった文章を作成はしてくれるが、しばしば英米法の要素がところどころ混ざったキメラ文章が作成される。

哲学の解説…◎
有名な哲学者の思想について、日本で刊行されている多くの入門書より分かりやすくかつ正確な回答をすることができる。また、問いかけによっては、入門書ではしばしば見過ごされるような点も含めて、多くの側面から哲学者を評価し、バランスのとれた回答を行うことができる。また、具体的な日常的問題を特定の哲学の立場により解説させると、おおむね良好な結果が得られる。また、フランス現代思想の原文のような難解な文章を解説させても、おおむね正しく簡明な回答が得られる。一方で、特定の立場をとる哲学者を例示させると架空の哲学者を捏造する傾向にある。

倫理的問題の解説…△
哲学の解説については詳細かつバリエーション豊かに行えるものの、具体的な問題に倫理的な解説を行わせると、功利主義倫理学や環境倫理にこだわりを見せ、どのような質問にも同じような主張を繰り返す傾向にある。具体的な倫理学上の立場を挙げたりキーワードを指定すると、良い回答が得られる場合がある。

社会問題や国際政治、地政学に関する議論…△
一般的に、何も指定しなければアメリカ合衆国のリベラル派の立場の意見が回答される。一方で、アメリカの保守派の意見も含めることもできる。しかし、日本に関する理解は抽象的なレベルにとどまり、全体主義・共同体主義・個人主義の相克や、中国へのアンビバレントな感情、世代間ギャップに関する日本特有の議論などは話が食い違うことが多く、ズレを指摘しても修正することが難しい。アメリカリベラリズム的な進歩主義は日本の内情と合わないことが多いが、日本における平均的な意見に回帰しないことから得られる着想もある。

自然科学

量子力学や素粒子物理学に関する解説…◎
難しい問題を平易に解説させるのには限界があるが、平易に解説できない場合はその旨を正直に回答できる。また、概念の理解のために必要な隣接分野の解説や、分野の見取り図や説明能力に関する抽象的な質問、応用分野に関する質問も正確かつ質問に即して創造的に回答でき、難解な数式も適切な学術用語を正しく利用して分かりやすく説明することができる。

中高生むけ教材の作成…〇
一般的でないカリキュラムや到達目標を要求した場合でも、適切な指導案を提案することができる。一方で、極端にレベルの高い大学レベルの内容になるか、リテラシーレベルの漠然とした内容になるか両極端な提案をする傾向があり、指導案を実行可能なものに落とし込むためにはユーザーの力量が必要と思われる。

プログラミングとソフトウェア技術

Web技術の提案およびコード例の作成…◎
不完全な説明や大まかな構想を説明するだけで、実用的な例を挙げることができる。一般的でないアプリケーションを作成したい場合などで解釈が間違っている場合でも、間違いを指摘すれば正しいコードを作成することができる。また、要件を示せば的確な技術を提案することができ、StackOverflowの議論を解説させても大きな問題がない。

Web以外の技術の提案…〇
Web以外の学習リソースの限られる技術に関してはあまり詳しくはなく、必ずしも使い勝手の良いライブラリを提案できるとは限らない。

サイバーセキュリティに関する議論…×
一般的な抽象論を繰り返すのみで、具体的な問題点を適切に挙げることができない。説明の間違えた点を挙げても、こちらの意見を言い換えるだけで、情報を付け加えることができない。記号を利用して、情報セキュリティの論文のような文体で質問すると多少まともな回答が返ってくる場合があるが、その場合でも間違っていることが多い。

コードの解説やエラー原因の追究…〇
一般的なアルゴリズムを認識し、それに従って変数の意味などコードを解説することができる。また、エラーの原因を解説することができるが、これにはノイズも含まれる。

事務的文章

SNS向け広報文の作成…×
広告的な装飾の激しい文章が作成され、広告慣れしたユーザーの心に響く文章を作ることができない。特に、アメリカのユーザー向けのポジティブすぎる文言や独特な用語の使い方は、日本のユーザーにとって違和感がありすぎる。ただし、若年層にはこのような直訳調のポジティブすぎる文言も受け入れらる可能性はある。また、フレンドリーな文体を指定すると、これまたアメリカンな馴れ馴れしい文章が作成され、日本語圏で一般的な、一定の距離をとりつつ親しみのもてる文章を作成する能力が絶望的に低い。

紛争解決のための仲裁文章の作成…〇
人間関係のトラブルが生じた際に、問題解決の方法を提案させたり、こちらの指定する解決手順に基づいて、当事者に送付する文章を作成することができる。文体や立場にやや特徴があり、適宜修正するのが望ましいが、仮にそのまま送付したとしても大きな問題とならない文章を出力できる。

商業的な戦略に関する提案…△
メディアにおける広報戦略や、ビジネスモデルの提案をさせることができるが、内容は陳腐なものが多い。陳腐な方策の問題点を指摘しても、独創的な解決策を提案することはほとんどなく、自己矛盾する解決策やその場しのぎの解決策、こちらの指摘意見をオウム返しにした実現が困難な提案に終始することも多い。ただし、すでに思いついた戦略に凡庸な問題点がないかどうかチェックする役割をさせたり、コアなアイデアの周囲を凡庸な解決策で固める目的や、自分の思いついた複数のアイデアを連結させるきっかけとなるポイントの把握のために使うことはできる。