LLM hallucination Attack ChatGPTを利用した落語のような攻撃方法が紹介されていた

Vulcan Cyber Ltdが2023年6月6日にまるで落語のようなChatGPTを利用した攻撃を公開した。
Can you trust ChatGPT’s package recommendations?
https://vulcan.io/blog/ai-hallucinations-package-risk
「LLM hallucination」を利用したものだ。「LLM hallucination」とはLLMが存在しないものを回答することを指す。
ChatGPTあるいは他のLLMを利用したことのある方なら、存在しないドキュメントや人物をまるで存在しているかのように紹介されたことがあるだろう。あれのことだ。
VulcanがやったのはChatGPTにパッケージや参考になるものを教えてくれるよう質問し、その回答に存在しないものが含まれていたら、Vulcan自身が作り、その後、再び同じ質問を別アカウントで行う。ChatGPTが同じ回答をしたら成功だ。ちょっとしたトンチだ。

ChatGPTを始めとするLLMは存在しない回答をすることがある。その際、存在しないパッケージを作ることで悪意あるコードを相手にインストールさせることができるのだ。ご存じのようにChatGPTはほんとうにあるかのように紹介してくれるので、人によっては簡単にだまされるだろう。簡単ながらも利用者本人が気をつける以外の防御方法は難しい。
ばかばかしいが防御は難しそうな気がする。Vulcanは作成日、ダウンロード数、コメントなどから判断することを薦めているが、人によってはそれも難しい。
たとえば「おすすめの無料アンチウイルスソフト」をパソコン初心者が訊ねたような場合、その人物が本物かどうかを見分けるのは難しいだろう。

Vulcanは触れていなかったが、同様に存在しない専門家やレポートが紹介された場合、その人物のサイトを作ったり、レポートを作ったりすることもできる。あっという間にChatGPT推薦の専門家になったり、レポートを公開することができる。

私もデジタル影響工作についての専門家を訊いて、存在しない名前が出て来たらその名前を使うことにしようかな？

好評発売中！
『ネット世論操作とデジタル影響工作：「見えざる手」を可視化する』（原書房）
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。

•