Photo by
aoming
【短報】notebookLMの信頼度はちと微妙である
高精度で資料を整理してくれるらしいのでテストしてみる
ここ最近noteでも解説記事がだいぶん増えてきた印象があるGoogle製のAIツール「notebookLM」を使ってみました。
NotebookLMは、ユーザーが指定した論文などの限定されたドキュメントに基づいて回答を生成します。そのため、情報源が明確で、回答の正確性が高いという特徴があります。
一方、ChatGPT、Claude、Geminiは広範なインターネット上のデータを基に学習しているため、幅広い知識を持っています。しかし、時折事実と異なる「ハルシネーション」を生成することがあるため、注意が必要です。
これは耳よりな話です。本当に正確性が高いのか試してみることにします。
いきなり論文というのも荷が重いので、ウィキペディアをソースデータとして指定して、某有名コミック・アニメ作品の情報を整理してみようと思います。
資料としたのは下の二つのウェブページです。
ソースとして、この二つのURLを直接指定し、他には一切のデータを与えない状態で質問を投げかけてみました。
微妙な結果
ソースとして使用した「ドラゴンボールの登場人物」 のページ内をブラウザ内で直接検索すると、野沢雅子が声を当てているキャラクターは7人いることになっています。
しかし、notebookはそのうち5人しか正しく回答できていません。ウーブは不正解だし、バーダックは取りこぼされています。
このレベルの読み取りに失敗しているとなると、なかなか厳密な仕事に直接適用するのは厳しいかなという印象。プロの研究者として論文サーベイに使えるかというと、あくまでも大体の方向性を掴む程度がせいぜいかなと思われますね。今後の進化に期待といったところです。
この記事が気に入ったらサポートをしてみませんか？