少し前に先行ユーザーの招待が届き、note AIアシスタント(β)が利用できるようになったので、早速その機能を検証してみました。
ただ、検証するにも比較対象が必要なので、Bing Chatに同様の質問を投げ掛けて、比較しながら検証していくことにしました。
機能1: 記事の切り口を提案
書きたいテーマを入力すると、「これについて書いてはどうですか?」と記事の切り口を5つ提案してくれます。
次に、Bing Chatに同じような質問を投げてみました。その回答は以下のとおりです。
AIアシスタントの回答は、人工知能に関する記事の一般的な切り口にはなっていますが、Bing Chatと比較すると、「すごさを紹介する」という観点をあまり踏まえていません。
また、内容も抽象的で具体性に欠けており、あまり執筆者の参考にはならなそうです。
もう一つ別のテーマで比較してみましょう。
次に、Bing Chatに同じような質問を投げてみました。その回答は以下のとおりです。
やはり、検索することができる分、Bing Chatの方が内容が具体的で、実際に記事を書く場合の参考になりそうです。AIアシスタントの方は、誰でも思いつく一般的な切り口にとどまっており、あまり参考になりません。
執筆者に役立つ切り口を提示するのであれば、Bing Chatのような具体性が必要です。あくまで切り口の提示なので、複数の案の中に多少外れた回答が入ることになっても、具体性を重視した方がよいと思われます。
機能2: 記事タイトルを提案
書きたい概要を入力すると、タイトル案を5つ提案してくれます。
機能を検証するために、以下のとおり、Bing Chatに250字くらいの文章を用意してもらいました。
この記事についてタイトルを付けるようAIアシスタントに依頼しました。
次に、Bing Chatに同様の依頼をした結果は、以下のとおりです。
AIアシスタントが回答したタイトル案の多くが記事の内容から外れてしまっています。2.の案は記事の内容に合っていますが、あまり読者の興味を引くようなタイトル案ではありません。
Bing Chatの回答の方が記事の内容に合っており、読者を惹きつけるタイトル案になっています。
以下のとおり、Bing Chatに220字くらいの記事をもう一つ用意してもらって、同じようにタイトルを付けてもらいました。
Bing Chatの方がこの記事のテーマであるペットの選び方というポイントがうまく表現されています。
AIアシスタントの方は、犬と猫の違いだけにしか触れていない案が多いようです。ただし、先程の記事のタイトル案よりはよくできていて、少し読者を意識したものになっており、1.や3.の案は実際に使えそうです。
AIアシスタントは、文章の内容を正確に踏まえるという点と読者の興味を引くという点の2つの点において改善が必要です。
機能3: 概要から目次をつくる
書きたい概要を入力すると、目次の構成を提案してくれます。
説明には、こうありますが、目次は、見出しだけを書き出すものなので、この機能は、文章の構成やアウトラインの提案と言うべきだと思います。
それでは、以下の文章の概要から、文章の構成を提案してもらいます。
AIアシスタントの回答は、4.の「AIに関する再考を促す」がちょっとよく分からないのですが、それ以外はよくまとまっています。Bing Chatの方がより実用的な構成案を出していますが、どちらも、執筆の参考とするためには、具体性が足りないと感じます。
次にもう一つ別の例を見てみましょう。以下の文章の概要から、文章の構成を提案してもらいます。
AIアシスタントの回答は、これからペットを飼う人の参考にするという観点が抜けています。また、文章としては繋がっていますが、項目ごとの整理がされておらず、文章の構成を示すものとはなっていません。
一方で、Bing Chatの方は、きちんと最初にこの記事の目的や背景を説明し、ペットを選ぶためのポイントを提示する構成になっています。また、項目ごとの整理もできており、文章の構成としてよくできています。
AIアシスタントの方は、入力した文章の概要の意図を踏まえるとともに、項目を整理して、文章の構成をきちんと示すものにしていくことが必要です。
機能4: プレスリリースの構成をつくる
プレスリリースを出したい案件の情報を入力すると、タイトル・概要・背景・ビジョンを提示してくれます。
AIアシスタントの回答でも十分合格点だと思いますが、Bing Chatの背景やビジョンの説明は素晴らしい。
なお、AIアシスタントの方は、「いままで誰かが居ないから会話にならない」、「アバターが小細かく動き」、「気持ちが伝わってくるような関係作りを許し」など日本語のおかしいところがいくつかあります。
機能5:童話の案をつくる
概要を入力すると、童話にありそうな内容を提案してくれます。
それでは、以下の内容で童話を作ってもらいます。
ところどころ日本語がおかしく、意味が分からないところがありますね。
少し長くて、終わりが唐突だけど、なかなか良い話ですね。
まとめ
全体的に見ると、Bing Chatの方がよく書けているように見えます。Bing Chatには検索できるというアドバンテージがありますが、AIアシスタントの方がnote記事の作成支援に特化したサービスなので、今後、note記事のデータを学習するなどして、是非改善していってもらいたいと思います。
機能1の記事の切り口については、抽象的で一般的な切り口のみではなく、もっと具体化した切り口を提案してもらいたいと思います。
機能2の記事タイトルについては、もう少し記事の内容を踏まえたものにすることと、読者の興味を引くようなものにして欲しいと思います。
機能3については、「概要から目次をつくる」ではなく、「概要から文章の構成を提案する」に変えた方がよいと思います。また、項目を整理して、文章の構造をきちんと示すものにしてもらいたいと思います。
機能4のプレスリリースの構成については、結構よく書けていますが、背景とビジョンは、さらに内容を掘り下げた方がよいと思います。日本語の表現がおかしいところも改善して欲しいです。
機能5の童話の案については、AIアシスタントは、長い文章を書くのが苦手なのでしょうか。もう少し正確な表現ができるようにしないと内容がよく理解できません。
以上、少し辛口の評価になってしまいましたが、note記事の作成支援については非常に期待していますので、正式版ではさらにグレードアップしたものが公開されることを願っています。
また、AIに一番手伝ってほしいのは、アイデアを出すところよりも、自分が思いついたアイデアや文章の構成を実際の文章に落とすところなので、AIアシスタントに本文を作成する機能も追加して欲しいと思っています。
AIが本文を作成できるようになっても、切り口や大筋の内容は作成者が決めるものであり、AIだけでは、ライターの地位を脅かすような文章は、まだ書けないと考えています。