AIが出力した記事を、何とかして実用レベルにするために工夫してみた

「文書生成AIは本当に使えるのか？」という問いに対しては、「使わないと仕事が進まなくなる時が来るかも」という程度には実用的になってきた。

実際、PCも黎明期は「パソコンなど使わなくても仕事は進む」と言われていたが、現在は利用なしに仕事は進まない。
文書生成AIもPCと同様のツールであることを考えると、ある程度使い方に習熟しておくことは重要であるように見える。

ということで、ここ1ヶ月ほど、ChatGPTを用いて、AIになんとか面白い記事を書かせようと、あるいは、AIのアシストが有用になるよう、様々な試みを行ってきた。

しかし、現状のAIの文書生成のクオリティだと、人間の手をかなりかけないと、面白い記事が書けない。
実際、AIを使おうが、使うまいが、あまり手間が変わらないのが現実だ。

例えばほとんどの文書生成AIは、「テーマ／キーワード」か「書き出し」を与えると、文書を生成する。
そこで、私が昔書いた以下の記事の書き出し使って、この後の文章がどの程度の品質を実現してくれるかを確かめた。

「テレワークに消極的な会社」を見放す人がめっちゃ増えてる。

妻から、「友達の旦那が、最近転職した」という話を聞いた。

そこそこの良い企業に勤めていたと聞いていたし、企業が採用を手控えているこの時期だ。求職者にとっては転職に不利益になる可能性も高い。だから「なんでこの時期に？」と聞いた。

すると妻は「テレワークをやめて、出社に切り替えろと言われたので、会社の方針に呆れて転職したんだって」という。

へえ、そんなことがあるのか、と思い、周りの人にも聞いてみると、確かにそのような理由での転職が増えているようだ。

中には、「この時期に出社を強制するということは、社員とその家族の健康を軽んじている」という方もいた。

そういうことか。

私は合点がいった。
つまり「テレワークに消極的な会社」を見放す人が増えているのだ。

https://blog.tinect.jp/?p=67611

この書き出しをもとに、AIに、続きを書かせてみると、以下のようになる。

読むとわかるが、「コタツライターの書いたSEO記事」という感じが否めない。というのも、主張に根拠がなく、意外性もないからだ。
はっきり言えば、信用できないし、それに加えて、つまらない。

なお、Notionに書かせても、大差はない。
問題点と利点、展望を書いておしまい。面白いことに、ChatGPTの生成文書と似ている。学習データが被っているのだろうか。

では、これをどう料理するべきか。
まず「記事のクオリティ」最低限のラインとして、主張に対する根拠が示されていないのは致命的だ。

そこで、AIに対して「主張に対する、客観的な証拠はあるのか？」と、注文をつけてみた。

すると、AIの回答はまたもや「意見」だった。

これは、AIが実際に経験しているわけではないから、信用できない。
そこで、「それは意見ではないか？」と、更に注文をつけてみる。

これに対するAIの回答は、「ごめんなさい、証拠を改めて提出します」といい、２つの文献を提出してきた。

だが、この２つのジャーナルを調べてみると、ジャーナル自体は存在しているようなのだが、論文自体は存在しない。
したがって、主張はデタラメなのだ。

以下の記事でも検証したように、ChatGPTは「ウソを付く」ので、文献が出てきたとしても、ちゃんと調べない限り、信用してはいけない。
（AIによる文章生成は、SEO記事の作成にどの程度役に立つのか、検証した。）

なお、同じ質問をNotionでも入力してみたが、こちらは二つのリンクを提供してきた。

Owl Labsはリンク切れだったが、ハーバードビジネスレビューはリンクが機能しており、「社会的孤立」の項目が確かに見つかった。

これは使えるかも、と思ったが続けて、見出しとなっている「テレワークに将来性がある、との主張に対しての客観的なデータはあるか？」と聞いたところ、2つのリンクが提供されたが、いずれもリンクは切れており、同タイトルの文献も見つからなかった。

なお、これはAIが文書を生成するときの根源的な制約であると私は考えている。
性能の向上で解決できる問題ではない。

というのも、AIが述べていることを「信用」してよいのかどうかは、webページに書いてあることと同じように、どこまで行っても「出典は何か？」「誰が主張に根拠を与えているのか？」に左右されるからだ。

出典や論拠となる経験を明らかにしない主張は、基本的には「使えない」という前提で見たほうが良い。
したがって、今のままでは文書生成AIは、使い物にならない。（少なくとも、記事を書くという点においては、という限定付きだが）

ではどうするか。
代替のAIを探ってみると、MicrosoftのBingがあった。

Bingは検索エンジンとAIの掛け合わせによるサービスで、ChatGPTとは異なり、主張の根拠をwebサイトとして示してくれる。

少なくとも「何を根拠としているのか」を調べられるはずだ。
そこで、全く同じ質問を投げかけてみた。

https://www.bing.com/

ChatGPTとは異なり、出典として下にいくつかのサイトが示されている。

そこで、サイトを巡回してみたが、実は「テレワークにおいて、コミュニケーションやチームビルディングの促進が重要」という客観的な証拠が掲載されたサイトは、少なくとも検索の上位には存在していなかった。

ただ、最も問題なのは、上位の記事が「AIで出力された記事」とあまりクオリティにおいて変わらなかった点だ。

つまりキーワードによっては、「現在、Google検索の上位に上がってきている記事」程度は、AIに書かせることができるのである。

ただし、これはAIの責任ではない。おそらく「学習データ」の問題だ。

大量の薄い記事を読み込んで学習したAIは、薄い記事しか出力できない。だから「根拠」や「意外性」に欠ける記事しか、書けないのだ。要は「AIが薄い記事しか出せない」のは、web上に大量に存在している「薄い記事」を学習データとしたからではないか。

もちろん優れた記事を学習データとして使い、今後優れた記事がどのようなものなのかをAIが学べば、もしかしたらAIの出力する記事は、人間が太刀打ちできないものになるかもしれない。

文章の手のかけどころ

ただ、私は「薄いSEO記事」を作りたいわけではないので、しぶしぶ、人力にて、Googleの論文検索にて、そうした調査が存在しているかどうかを調べた。
すると、いくつかの文献が見つかった。