AI生成文章の検出&人間化ツール Humbotを試してみる

AIが生成したテキストを検出し、それを人間らしい文章に書き直すツール「Humbot」。今回はこのツールの精度を試してみました。

AI生成文章に対する教育現場の対応

「宿題もリポートも生成ＡＩが作った『正解』丸写し、教諭は嘆く『これじゃ無料の代行業者だ』」というニュースを見ました。

宿題もリポートも生成ＡＩが作った「正解」丸写し、教諭は嘆く「これじゃ無料の代行業者だ」

こういうニュースを見ると、AI生成文章の検出ツールを欲しがる先生方は多いだろうなぁと思います。しかし…この考え、もう古いです。この思考から脱却する必要があります。

生成AIの登場により、教育現場の課題が明らかになりつつあります。これまでの講義、授業、課題のあり方を見直す時期に来ているのは確かです。もちろん、学生の思考力育成を疎かにしてはいけません。電卓の存在が計算力の重要性を否定しないように、生成AIがあっても自ら考える力は不可欠です。一定の知識・思考力がないと優れたプロンプトは書けないのです。問題は、その力をどう育むかなのです。

現状のまま、江戸時代から続く寺子屋方式のような授業方法では、現代のニーズに応えられません。生成AIのような優れたテクノロジーが誰でも使える今、学校も変革が求められています。教員自身がAIへの理解を深め、教育に取り入れる工夫が欠かせません。テクノロジーを否定し、生成AIの是非を問うだけでは課題解決にはつながりません。教育とテクノロジーの共存を模索し、時代に即した学びを実現することが必要です。

と、話が逸れましたが本題へ。

Humbotの使用体験

今回は、Humbotの無料版を試してみました。まずは、日本語でテスト。ChatGPTで生成以下の文章を入力しました。

入力した文章：

『我孫子市は豊かな自然と歴史ある街並みが魅力の地域です。この地域の名産品には、特産の梨があります。我孫子市の梨は、甘くてジューシーで、全国的に評価されています。また、米や野菜も豊富で、新鮮な農産物が手に入ります。』

しっかりとAI生成文書だと見抜かれました

検出はうまくいった模様。今度はHumanizeボタンをクリック！これで人間らしい文章に書き直してくれるはずです。

Humbotの出力：

『全身の名前あおい市市は、生い茂る自然と雰囲気が豊富な歴史的建物に魅せられた。この地方産品には、地元のナシが含まれる。我孫子市のナシは非常に甘くて濃厚であり、日本全国に知られています。また、米および野菜もあり、新鮮な農産物を購入できます。』

結果は意味不明。日本語には対応していないようでした。それでも、出力内容は自画自賛状態

何を持ってAIか人間化を判断しているのか？は不明。というか、それももちろんAIの判断。

次に英語で試してみました。（Humbotへの入力は英語のみ。わかりやすくするためにDeepLによる日本語訳も付けています。）

入力した文章：

『Abiko City, in Chiba Prefecture, is renowned for its high-quality pears, fresh vegetables, and traditional miso. The pears are especially famous for their sweetness and juiciness. The city also offers a variety of seasonal produce, benefiting from its rich natural environment. Traditional miso, made using methods passed down since the Edo period, is another local specialty. These products reflect the region's dedication to maintaining high standards of agriculture and food production. Loved by both locals and visitors, Abiko's specialties provide a taste of the area's unique culinary heritage.』

検出は先ほどと同様

Humbotの出力：

『Abiko City, located in Chiba Prefecture, is famous for producing high-quality pears, fresh vegetables, and traditional types of miso. The pears grown here are particularly popular due to their exceptional sweetness and juiciness. Abiko produces a large variety of seasonal produce due to the presence of a diverse, rich natural environment of the city. In addition, the high-quality, traditionally prepared miso, which follows the methods of preparation that have not changed since the Edo period of Japan, is also a specialty of the area. These goods demonstrate the prefectures’ and citys’ commitment to preserving high agriculture and food production standards and have been enjoyed by both locals and tourists.』

確かに、日本語のような明らかな間違いはありませんでしたが、AIとの差が本当に大きいかどうかは微妙です。両文章を比較すると、生成AIによって作られた文章の簡潔さや直線的な構造とは違いが生まれたように感じます。Humanizeボタンをクリック後の文章は、文の構造がやや複雑で、長文や副詞節が使われるようになりました。前者では使われなかった地域の情報も少々加筆されています。読み手に対する印象や理解の深さが若干異なるかもしれません。

AI生成文章の検出は難しい

現時点でHumbotは良く出来たツールですが、今後もこのような検出ツールや、人間化（Humanize）ツールは出てくるでしょう。しかし、完璧なものは作れないと私は考えます。AIが生成したテキストを検出し、人間の書いた文章と確実に見分けることは非常に難しく、不可能に近いです。その理由は以下の通りです。

自然言語処理の進化

AIの自然言語処理技術は非常に高度になっており、人間とほとんど区別がつかないレベルで文章を生成できます。最新のAIモデルは膨大なデータセットを基に学習し、人間の文体や語彙、文法、文の構造を巧みに再現します。

多様な文体とトーン

AIは多様な文体やトーンを模倣することができ、特定の文体に限られず幅広いスタイルで文章を生成します。これにより、特定の特徴をもとにAI生成のテキストを見分けることが難しくなります。

データセットの多様性

AIは様々なソースから収集された多様なデータセットを学習しているため、特定の偏りやパターンを持ちません。このため、AI生成のテキストが特定の傾向を示すことが少なく、検出が難しくなります。

プロンプトの精度向上

人間もAIをより効果的に活用するためにプロンプトの精度を上げ続けています。プロンプトの質が向上することで、AIはさらに自然で人間らしい文章を生成することが可能となり、見分けがつきにくくなります。

フィードバックループ

AIは生成したテキストに対するフィードバックを受け取り、それに基づいて学習を続けるため、時間が経つにつれて生成の精度が向上します。この継続的な学習プロセスにより、AIの文章がますます自然で人間らしくなり、識別が難しくなります。

複雑なアルゴリズム

AIは複雑なアルゴリズムを使用して文章を生成しますが、そのアルゴリズム自体がブラックボックス化されていることが多く、具体的にどのように文章が生成されるかを理解するのが難しいです。このため、生成された文章を元にAIの特徴を特定することが難しくなります。

技術の普及と利用

AI技術が普及し、広範に利用されるようになることで、生成された文章と人間の文章が混在することが増えます。このような環境では、個々のテキストがAIによって生成されたかどうかを判断するのはさらに難しくなります。

以上の理由から、AI生成のテキストを検出し、人間の書いた文章と確実に見分けることは非常に難しく、私は不可能に近いと考えています。教育現場では、根本的に課題のあり方を見直し、現代に最適化するべきでしょうね。