ChatGPT論：AI生成を見破れるか？ 99%のAI領域と1%の人間領域について
さまざまな面から評価されているChatGPTやGoogle Bardといった生成系AIについて、最近よく見るのが、
AIが生成した文章を評価して、AIが生成したものか見破れるか？
というテーマです。
別に、AIが作ったものだろうが、人間が作ったものだろうが、どっちでもよかんべ、と思う人もいるでしょう。
その一方で、たとえば、学生が、宿題やレポートや論文をAIでジェネレートして提出するような「ズル」（？）を見過ごしてしまう状況はけしからん、というわけです。
というわけで、早速登場したのがAI文章の検出ツールです。
調べてみたところ「AI Text Classifier」および「GPTZero」という検出ツールが目にとまりましたので、これを試してみようと思います。どちらもオンラインサービスで、すぐに試してみることが可能です。
AI Text Classifierを試してみる
AI Text Classifier（分類器）は、ChatGPT Playgroundで公開されている検出ツールです。使い方は、「Text」枠に文章を入力して「Submit」ボタンを押すだけです。
利用するときの注意点としては、次のようなものがあります。
少なくとも 1,000文字の文字数が必要
このツールは、主に大人が書いた英語文章を対象に学習されているので、子供が書いた文章や、英語以外の文章は精度が低くなる
1,000文字以上という、まあまあの量の文章が必要というのが一番ハードルが高いところです。「見出しだけ」とか「短い文章」では、残念ながら分析してくれません。
AI Text Classifier（オンラインサービス）
New AI classifier for indicating AI-written text（説明サイト）
ChatGPT-3.5が生成したテキストを入力してみました。すると、次の評価になりました。あってますね。
The classifier considers the text to be possibly AI-generated.
（分類器は、テキストがAI によって生成された可能性があるとみなします。）次に、私が書いた以前書いた文章を入力してみたところ、次の評価になりました。
The classifier considers the text to be very unlikely AI-generated.
（分類器は、テキストがAI によって生成された可能性は非常に低いとみなします。）微妙な言い回しですが、正しい評価となりました。
GPTZeroを試してみる
GPTZeroは、教育現場、資格認定、雇用採用などで不正が行われることを懸念して2022年12月に公開された検出ツールです。すでに100万人の利用者がいる世界No.1のAI検出器とのふれこみです。
使い方は、テキスト枠に文章を入力して「I agree to the terms of service」をチェックして、「GET RESULTS」ボタンを押すだけです。
利用するときの注意点としては、次のようなものがあります。
少なくとも 250文字の文字数が必要
人間が書いた文章を「AIの文章」と誤って検出しないように、緩めに調整されている
有料版があり、文字数制限や回数制限の緩和や、教育向けに微調整されたモデルが使える
こちらのサービスはすでにビジネス化していることもあり、より精度や信頼性が高そうです。
GPTZero（オンラインサービス）
こちらも、ChatGPT-3.5が生成したテキストを入力してみたところ、次の評価になりました。あってますね。
Your text is likely to be written entirely by AI
（あなたの文章はすべて AI によって書かれている可能性があります）私が書いた文章は次のように評価されました。こちらもあってます。
Your text is likely to be written entirely by a human
（あなたのテキストはすべて人間によって書かれている可能性があります）どちらが精度が高かったか
以上、2つのAIが生成した文章であるかどうかの分析ツール「AI Text Classifier」と「GPTZero」を試してみました。
この2つを使ってみた限りは「GPTZero」のほうが精度が高いように思いました。
「GPTZero」は、少ない文字数でも分析してくれますし、外部ファイルを読み込むこともできます。
分析結果はしきい値をもちいて評価しているそうですが、このあたりのバランスもいい感じです。もし私が教師的な立場だったら「GPTZero」を選んでしまうことになりそうです。
学生の処罰のために使わないこと
私も、どの程度判別精度が高いのか興味がありましたが、ある程度長い文章であれば、確かに癖を見抜くことはできそうな感じです。
とはいえ、今回は完全にAIが生成した文章をぶち込みましたが、50％人間が手をいれた文章のように、まじりあっている場合もあるでしょう。そうなると、判別はどんどん難しくなっていくはずです。
実際、GPTZeroの質問ページにも、次のような文言が掲載されています。
AI によって生成されたコンテンツの性質は常に変化しています。したがって、これらの結果は学生の処罰のために使用されるべきではありません。GPTZero がより堅牢なモデルを構築する一方で、教育者は、あくまでも生徒に対する総合的評価の要素の1つとして考慮してください。AIの文章が人間の文章として評価されるケースもあれば、人間の文章がAIの文章として評価されるケースの両方が常に存在します。あくまでも生徒に理解を示す機会となるようなアプローチを取ることをお勧めします。
また、処罰に使ってしまうと、当然回避行動が起きます。実に簡単な話、
学生がGPTZeroを使って、バレない程度に文章を直す
という抜け道を行うだけの話です。そこから、本当に意味のないイタチごっこがスタートしまします。
さらにAIが賢くなることも考えられます。そうなると、
GPTZeroに検知されないような文章を作って
というプロンプト出せば一貫の終わりです。
AIを使うことの本質とは何なのか？
突然AIがやってきたことから、AIアレルギーに襲われている人が非常に多いように思います。また、そういった心理に付け込んだ記事もたくさんあり、ますます、
AIに征服される！怖い！
と騒ぐことになります。しかし、AIの本質は、
人間が楽をすること
にありますし、それを助けるために存在するものです。確かにAIに仕事が奪われることがあるかもしれません。もしかすると99％の仕事はAIが行う時代がくるかもしれません。しかし、ここは頭を切り替えて、
99%はAIがやればいい。残りの1％に人間の頭を使おう
という前提で考えるべきだと思います。この1%は絶対になくなりませんし、1％とはいえ、その中に無限の可能性があるのです。
というわけで！
やっぱり大好き！ ChatGPT！
この記事が気に入ったらサポートをしてみませんか？