AIが出力した記事を、何とかして実用レベルにするために工夫してみた
「文書生成AIは本当に使えるのか?」という問いに対しては、「使わないと仕事が進まなくなる時が来るかも」という程度には実用的になってきた。
実際、PCも黎明期は「パソコンなど使わなくても仕事は進む」と言われていたが、現在は利用なしに仕事は進まない。
文書生成AIもPCと同様のツールであることを考えると、ある程度使い方に習熟しておくことは重要であるように見える。
ということで、ここ1ヶ月ほど、ChatGPTを用いて、AIになんとか面白い記事を書かせようと、あるいは、AIのアシストが有用になるよう、様々な試みを行ってきた。
しかし、現状のAIの文書生成のクオリティだと、人間の手をかなりかけないと、面白い記事が書けない。
実際、AIを使おうが、使うまいが、あまり手間が変わらないのが現実だ。
例えばほとんどの文書生成AIは、「テーマ/キーワード」か「書き出し」を与えると、文書を生成する。
そこで、私が昔書いた以下の記事の書き出し使って、この後の文章がどの程度の品質を実現してくれるかを確かめた。
この書き出しをもとに、AIに、続きを書かせてみると、以下のようになる。
読むとわかるが、「コタツライターの書いたSEO記事」という感じが否めない。というのも、主張に根拠がなく、意外性もないからだ。
はっきり言えば、信用できないし、それに加えて、つまらない。
なお、Notionに書かせても、大差はない。
問題点と利点、展望を書いておしまい。面白いことに、ChatGPTの生成文書と似ている。学習データが被っているのだろうか。
では、これをどう料理するべきか。
まず「記事のクオリティ」最低限のラインとして、主張に対する根拠が示されていないのは致命的だ。
そこで、AIに対して「主張に対する、客観的な証拠はあるのか?」と、注文をつけてみた。
すると、AIの回答はまたもや「意見」だった。
これは、AIが実際に経験しているわけではないから、信用できない。
そこで、「それは意見ではないか?」と、更に注文をつけてみる。
これに対するAIの回答は、「ごめんなさい、証拠を改めて提出します」といい、2つの文献を提出してきた。
だが、この2つのジャーナルを調べてみると、ジャーナル自体は存在しているようなのだが、論文自体は存在しない。
したがって、主張はデタラメなのだ。
以下の記事でも検証したように、ChatGPTは「ウソを付く」ので、文献が出てきたとしても、ちゃんと調べない限り、信用してはいけない。
(AIによる文章生成は、SEO記事の作成にどの程度役に立つのか、検証した。)
なお、同じ質問をNotionでも入力してみたが、こちらは二つのリンクを提供してきた。
Owl Labsはリンク切れだったが、ハーバードビジネスレビューはリンクが機能しており、「社会的孤立」の項目が確かに見つかった。
これは使えるかも、と思ったが続けて、見出しとなっている「テレワークに将来性がある、との主張に対しての客観的なデータはあるか?」と聞いたところ、2つのリンクが提供されたが、いずれもリンクは切れており、同タイトルの文献も見つからなかった。
なお、これはAIが文書を生成するときの根源的な制約であると私は考えている。
性能の向上で解決できる問題ではない。
というのも、AIが述べていることを「信用」してよいのかどうかは、webページに書いてあることと同じように、どこまで行っても「出典は何か?」「誰が主張に根拠を与えているのか?」に左右されるからだ。
出典や論拠となる経験を明らかにしない主張は、基本的には「使えない」という前提で見たほうが良い。
したがって、今のままでは文書生成AIは、使い物にならない。(少なくとも、記事を書くという点においては、という限定付きだが)
ではどうするか。
代替のAIを探ってみると、MicrosoftのBingがあった。
Bingは検索エンジンとAIの掛け合わせによるサービスで、ChatGPTとは異なり、主張の根拠をwebサイトとして示してくれる。
少なくとも「何を根拠としているのか」を調べられるはずだ。
そこで、全く同じ質問を投げかけてみた。
ChatGPTとは異なり、出典として下にいくつかのサイトが示されている。
そこで、サイトを巡回してみたが、実は「テレワークにおいて、コミュニケーションやチームビルディングの促進が重要」という客観的な証拠が掲載されたサイトは、少なくとも検索の上位には存在していなかった。
ただ、最も問題なのは、上位の記事が「AIで出力された記事」とあまりクオリティにおいて変わらなかった点だ。
つまりキーワードによっては、「現在、Google検索の上位に上がってきている記事」程度は、AIに書かせることができるのである。
ただし、これはAIの責任ではない。おそらく「学習データ」の問題だ。
大量の薄い記事を読み込んで学習したAIは、薄い記事しか出力できない。だから「根拠」や「意外性」に欠ける記事しか、書けないのだ。要は「AIが薄い記事しか出せない」のは、web上に大量に存在している「薄い記事」を学習データとしたからではないか。
もちろん優れた記事を学習データとして使い、今後優れた記事がどのようなものなのかをAIが学べば、もしかしたらAIの出力する記事は、人間が太刀打ちできないものになるかもしれない。
文章の手のかけどころ
ただ、私は「薄いSEO記事」を作りたいわけではないので、しぶしぶ、人力にて、Googleの論文検索にて、そうした調査が存在しているかどうかを調べた。
すると、いくつかの文献が見つかった。
ここから先は
生成AI時代の「ライターとマーケティング」の、実践的教科書
ビジネスマガジン「Books&Apps」の創設者兼ライターの安達裕哉が、生成AIの利用、webメディア運営、マーケティング、SNS利活用の…
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?