今回は【note×AI】ということで、noteにおけるAIの1活用法を模索する回です! noteはテキストベースなので生成AIとの相性はとても良いです。生成AIはデータの抽出や統合が得意であるため、今回は特に【記事の要約】という用途で模索してみようと思います。
以下、目次です!
実験・検証
概要
他人のnote記事を勝手に用いるのは、社会通念上問題があると思うので、要約対象とするのは自筆記事(数学系、プログラミング系、ゲーム系)に絞ります!
着目したいのは「記事のジャンルやビュー・スキと要約精度の相関はあるのか?」というところです。
対象記事
対象とする記事は計12本(数学記事4本、プログラミング記事4本、ゲーム記事4本)です:
数学記事
プログラミング記事
ゲーム記事
手順と評価
選定したAIはPerplexity AI(パープレキシティAI)で、ChatGPT型の検索特化AIです。要約にあたって、以下のプロンプトを打ち込んで生成させます:
要約精度の評価は、「300文字程度という制約の中で、改善の余地があるか否か」が主な観点になります。主観的・感覚的な評価ですが【★☆☆~★★★】の3段階評価で行います!
結果
総評
見出しごとに要約している節があり、変則的な内容構成だと、要約に重複した内容が見受けられます。
数学系・ゲーム系の主要記事は要約精度が良く、一方プログラミング系はその殆どが文字数超過が見られます。
また、ビュー数が著しく低い記事はそもそも生成AIに受け付けられず、トンチンカンな出力をする所謂【足切り】のようなものが存在します(悲しい😢)。
評価★★★
評価★★★は、概ね良いまとまり方をしているものです!
評価★★☆
評価★★☆は、文字数超過、網羅的でない、改善の余地がある、などなど、もうひと声欲しかったものたちです!
評価★☆☆
評価★☆☆は、精度どうこうの話ではないレベルのものたちです(つまりはトンチンカン)!
考察
今回、ビュー数が低い記事の要約精度が著しく低い理由は恐らく、「外部からの検索が見込めていないから」というのがあると思います。つまりは、客観的に重要な記事でないから弾かれているってことなんだと思います。
ちなみに弾かれているという根拠は、AIに取り込まれる[ファイル]にカーソルを合わせると、トンチンカンなものだけ空ファイルっぽい挙動を示すためです。
プログラミング系の要約について、文字数超過が多めだったのは正直なところ謎です。追加の調査が必要ですね!
結論
ビュー数が多い記事ならAIによる要約が輝きます!
スキ、フォロー、コメントなどなどお待ちしております😆
以上、Keshitanでした!
▼ChatGPT関連書籍▼