「生成AIチェッカー」を使ってみた。

みなさんこんにちは。
先日、「生成AIチェッカー」というサービスが発表されました。

生成AIチェッカー

テキストが「AIで生成されたものであるかどうかを判定」してくれるサービスです。

生成AIによって様々なものが生み出されている現在、AIかどうか判定してくれるサービスは非常に興味深いですね。

今回は、実際に使用してみた感想をまとめたいと思います。

どんなサービスなのか

サイトにはサンプルとして、AIが作成した「TOEICの学習法」というテキストが用意されています。
これをチェックすると、画像のように表示されます。

AIが作成した可能性は９５％とのことです。
非常にシンプルな操作で、テキストのチェックができます。

しかし、１つ疑問が生じました。
「１００％」にはならないのだろうか？

ということで、様々な文章をチェックしてみようと思います。

AI度１００％は出るのか

まずは、先程のTOEICの説明文を、「よりAIっぽく」ChatGPTに書き換えてもらいましょう。

TOEICについて

TOEICは、国際的なコミュニケーションのための英語試験の略で、世界的に認められている英語の能力を測るテストです。この試験は、リーディングとリスニングの二つの部分で構成されており、受験者の英語能力を評価します。TOEICのスコアは、就職、進学、留学などの際に必要とされることが多く、多くの人々が受験しています。

TOEICの勉強法1：文法を中心に

TOEICでは、英文法の問題が頻繁に出題されます。最初に、英文法をしっかり理解することが大切です。基本から学び、それを理解した上で、実践的な問題演習を行うことが効果的です。基本的な文法書で勉強し、その後、似たタイプの問題集で演習を行うことが良いでしょう。解説を読んで、間違えた点や理解不足の点を復習することも大切です。
（以下省略）

ちなみに、どのあたりがAIらしいのかを尋ねたところ、このような返答が返ってきました。

納得できる返答です。

では、実際にAI度をチェックしてみましょう。

９５％で、最初と同じでした。
どうやら、９５％が上限のような気がします。
流石に、「１００％AIによって作られたテキストです」とは言えないですよね。

本当に、区別できているのか

文学作品でチェック

AIのテキストしかチェックしていないので、このままでは、もしかしたら「全部テキトーに評価しているのではないか」という疑問が残ります。

そこで、確実に人間が書いたテキストをチェックしてみましょう。
チェックするものは、『吾輩は猫である』の冒頭部分です。

結果はこのようになりました。

結果は「人間度９５％」。先程のAI度９５％が上限だとすると、その反対も９５％であることが予想されますので、チェックとしては、最も人が書いたテキストに近いという評価が下されたものと思われます。

私の記事はどうなのか

テキストによってAI度と人間度の評価が別れており、テキトーに評価しているわけではないことがわかりました。

しかし、まだ疑問は残ります。
それは、チェックしたAIが『吾輩は猫である』を知っている可能性を否定できないからです。

もしもこの作品をしっているのであれば、人間が書いたと決定することは容易です。

そこで、私の過去の記事をチェックしてみました。

今回の検証では、私の過去の記事の中から、文章の多いこの記事を使用しました。

結果はこの通りです。

人間度８５％でした。
『吾輩は猫である』と比べると１０％AIらしいとの評価ですが、どうやらテキトーに評価しているわけではなさそうですし、知っているテキストだから人間度が高いということでもないようです。

そして、自分が書いた文章が「人間らしい」という評価を得られてホッとしました。

私の記事をAIがリライトしたら・・・？

最後に、先程チェックした私の記事を、AIがリライトしたらどうなるのかを試してみます。

ChatGPTに「AIらしくリライト」するように指示しました。

思いの外、AIらしい文章が完成したように感じます。
それでは、チェックしてみます。

結果は、「AI度６５％」となりました。
どうやら、何かしら人間らしさを感じる部分があるようです。

では、「人間らしくリライト」させたらどうでしょうか。
冒頭で紹介した「AIらしさ」を除外した文章を書くように指示しました。

想像以上に、AIらしい文章が返ってきました。AIが作成するテキストの特徴を隠しきれていません。
語尾をみても、「そこじゃない感」が否めません。

では、生成AIチェッカーはどう判断するのでしょうか。

まさかの、「人間度９５％」！！

ということは、AIを使って、AIを騙せた！ということでしょうか。

この生成AIチェッカーが、どのようなアルゴリズムで機能しているかはわかりませんが、少なくとも、AIに「人間らしく書いて」と指示をすると、このチェックを無効化することは可能なのかもしれません。

おわりに

今日は、「生成AIチェッカー」を試してみたことをまとめてみました。
実際に使ってみると、意外な結果となりました。

生成AIによるテキストは今後も増えていくと思うとで、必ずこのようなチェク機能は必要になってくるのだろうと思います。
生徒がAIを使用して課題を提出することも考えられます。
読書感想文などは、AIが簡単に作成してくれますからね。もしかしたら、「AIが作成した作文を、AIが審査する」なんてことも起こるかもしれません。

しかしながら、こんな考え方もあります。

「AIにできるような課題を出す側が悪い。」

なかなか辛辣なコメントだとは思いますが、その通りだと感じます。
なぜなら、AIにできることを課題にすることは、AIにできることを生徒にやらせていることになるからです。

もちろん、すべての課題に意味がないとは思いませんが、
AIにできることを、生徒に求めたところで、AIには勝てません。

AIの特徴を知りながら、その中で生徒に求めるべき力を考えて行く必要があるのではないでしょうか。

今回は、そんなことを考える１つの材料となりました。