AIを活用してnoteの記事を点数化する方法：ページビューやスキの数だけではない質重視のコンテンツ分析
求人募集中！自信を持って業務に取り組める職場環境を提供しています！
こんにちは、コミュニケーションデザイン部のひろきです。
noteで記事を書いてる方はご存知かと思いますが、noteでは管理画面を通じて、自身が書いた記事がどれくらい読まれたのかという「ページビュー」と、読者が共感した記事へ押せる「スキ」という2つの指標を見ることができます。
実は以前から、「ページビュー」や「スキ」の数だけでは、ブログの真の価値が測れていないんじゃないかという課題感を持っていました。このnoteでも時々書いているAIに関する記事はありがたいことに「ページビュー」や「スキ」の数を結構いただけるのですが、そもそも僕たちがnoteで伝えたいイー・エージェンシーの会社、人、文化の魅力を伝えられているのか？、単に数字を稼げそうだから作っていないか？というモヤモヤです。
たとえば、直近ですと次の記事です。
DX・AIの会社で社会貢献する会社として、AIを活用していくこと、またその活用方法を発信していくことは、イー・エージェンシーの役目ではありますが、広報・PR課として伝えていきたい内容としてあっているんだろうかと。
今回はそんなモヤモヤを解消すべく、Claude 3.5 SonnetというAIを用いた「ページビュー」や「スキ」に変わるブログ記事の評価方法を紹介します。
AIを活用して「ページビュー」や「スキ」に変わる記事の評価はできるか？
広報・PR課として記事を作る際に意識している10個（＊）のポイント＝目的があります。「ページビュー」や「スキ」の数という指標ではなく、その10個の目的が記事にどれくらい織り込まれているかがどうか＝記事の質（意味・内容）としてAIで推測できるんじゃないか、と仮定して行うことにしました。
＊この10個の目的は、記事を読んでくれた方にイー・エージェンシーのファンになってもらうという目標として3年前から設定していたものです。
まず、その10個の目的は次のようものです。それぞれ先頭に「イー・エージェンシー」が付くと思って読んでみてください。
「ビジョン」「未来像」への共感
働く人たちの「人柄」の理解
「歴史」「背景」「文化」の理解
作り手の「スピリッツ」の伝達
期待以上の「サプライズ」の提供
忘れられない「原体験」の創出
「帰属意識」の喚起
同じ価値観を持つ「仲間」との出会い
自分の意志/やりこみの「手ごたえ実感」の獲得
自分の価値観や夢の「投影」
ちなみにこれらの目的は、電通デジタルの佐々木祥氏の『「ファンの愛」を科学するファンマーケティングの方法論』という記事を３年前に見た時にチームみんなで「これだ！」と思い記事を書くときの羅針盤として掲げることにしました。
これらの目的は、読者の心に響くことを重視しています。そのため「ページビュー」や「スキ」の数だけでは測れない定性的なものだと思って、これを評価できるものではないと思っており、あくまで心に留めて記事を書こう！という努力目標でした。今回の実験はここにメスを入れていく取り組みです。
さて、具体的な評価方法についてお話しします。
AIでnote記事の価値を評価・測定する方法
1. AIに評価基準を教える
各目的について、AIに具体的な評価基準を教えます。精度をあげるために、それぞれの目的に「対象となる読者」「評価軸」を別途作っています。その上で、例えば、「ビジョンへの共感」については、このような構成でプロンプトを用意しました：
[noteの記事全文]は、「対象となる読者」にとって「1.「ビジョン」「未来像」に共感してもらう」ことができているか「評価軸」の視点で10点満点で採点してください。
このように、10個の目的それぞれについて、AIによる評価を行なっていきます。こうすることで、10点満点で評価されます。定性的だとあきらめていたものをAIによって数値化します！
2. AIに記事を評価してもらう
次に、実際にAIに記事を評価してもらいます。100以上の記事に対して10個の目的ごとに評価を行うので、1000項目以上の評価を行いました。
ただし、Claude 3.5 SonnetのChatで1000項目以上を行うと余計に時間がかかってしまうので、平岡憲人さんのこちらの記事を参考にGoogleスプレッドシートで行いました。
具体的には、各記事について10個の目的ごとに10点満点で評価を行い、その結果を総合的に分析しました。
もしかすると一人でずっとやれば、1000項目以上の評価を客観的に行うことができるのかもしれない。でも、やっぱり人では無理と鼻から諦めていました。AIを利用して、あっという間に処理してくれたのには、ほんとうに感動しました。
3. 結果を分析して改善する
評価結果が出たら、念の為、結果の妥当性をチェックします。チェックしてみたところ、「ページビュー」や「スキ」が取りやすい流行の記事は、この評価では得点が低かったです。一方、「ページビュー」や「スキ」はついていないけど、10個の目的の評価では点数の高い記事もありました。これを見ると、やっぱり数字だけではない、本来の目標とずれている記事があることに気づきました。
また、総合得点が高い記事をピックアップすることで、10個の目的に沿った記事の傾向が見えてきました。
得点の高かったのは次のような記事
企業文化と働き方の紹介
柔軟な勤務形態（テレワーク、ワーケーション）
社内イベントや交流の取り組み
社員満足度の透明性
人材に焦点を当てたストーリー
現役社員、経営陣、卒業生のインタビュー
社員の成長や経験の共有
プロジェクトと製品開発の事例紹介
具体的な開発プロセスや成果の報告
採用と人材育成の取り組み
リファラル採用の推進
新入社員教育の工夫
社会貢献と地域連携の活動報告
予想どおりといえば予想どおりではありますが、数字ではっきりとわかったことは大きいです。
また、この評価方法により「ページビュー」や「スキ」を目標とするのではなく、AIの評価に基づいて記事の企画を立ててみようと試みてみようという気持ちになりました。
もちろん、課題もあります。AIが「本当に」正しく評価できているのか、という点は今後も検討が必要です。でも、僕たちがもっとAIをうまく使いこなし、さらにAIの推論能力が上がれば、まだまだ良くなるはずという手応えを持つことができました。
この取り組みはまだ実験段階ですが、「ページビュー」や「スキ」だけでなく、記事の本質的な価値を評価できる可能性に期待しています。特に、これまで「ページビュー」や「スキ」が少なくて評価しようがなかった記事でも、その潜在的な価値を定量的に評価できる可能性が出てきたように思います。これは何百人と見られる必要がなくて数人の心に深く刺さればいいという採用のような記事にとって重要だと思いました。
最後に一言。AIはあらためて強力なツールだと感じました。ただ、盲信しているわけではなく、今回の評価でもそもそも記事を作成する前から10個の目的を作っていて評価軸があったこと、3年前に作っていたことが、すごく大事なポイントだと思っています。この評価軸を作っていたからこそ、AIが機能してくれたわけです。このように人間がやるべきこと（今回のケースでは基準や評価をつくっておいたこと）で、AIを良きパートナーにするとこれまでできなかったことができるようになると思います。
これからも、テクノロジーと人間の英知を融合させながら、引き続き価値ある情報を提供していきたいと思います。みなさんも、自社のブログ評価に新しいアプローチを試してみませんか？きっと新しい発見があるはずです。
その他AIに関する記事はこちら
少し前の記事ですが、以前からこんなこともやっています。最近の記事はイー・エージェンシーのnoteトップからご覧ください。
AIに関する社長の考え方もご覧ください。
一緒に働く仲間を募集しています！
イー・エージェンシーでは一緒に働く仲間を募集しています。下記の採用情報をぜひご覧ください。ご応募をお待ちしております！
▰採用サイトで、もっと先輩社員を知る！▰
▰在宅勤務・全国内フルリモートOK！エンジニア募集中！▰
この記事が気に入ったらサポートをしてみませんか？