On the Proactive Generation of Unsafe Images From Text-To-Image Models Using Benign Prompts
https://arxiv.org/abs/2310.16613
本研究の学術的背景、研究課題の核心をなす学術的な「問い」は、テキストから画像を生成するモデルが、悪意のあるユーザーによって安全でない画像を生成される可能性があるかどうかです。具体的には、「攻撃者が有害な画像を生成させるために、無害なプロンプトを使用することは可能か」という問いを探求しています。
本研究の目的は、有害な画像生成の可能性を明らかにすることです。この研究は、攻撃者が無害なプロンプトを用いてモデルを操作し、特定の有害な画像を生成させる攻撃手法を提案しています。これにより、テキストから画像を生成するモデルが実際のシナリオで有害な画像を生成する可能性について、重要な関心事として認識されることを目指しています。
本研究の着想は、以前の研究でテキストから画像を生成するモデルが安全でない画像を生成することが示されたことから得られました。これらの研究は、モデルを受動的に攻撃することでその有害性を示していました。しかし、本研究では積極的な攻撃手法に焦点を当て、無害なプロンプトを使用して有害な画像を生成する可能性について調査しています。本研究の位置づけは、テキストから画像を生成するモデルの安全性の向上に向けた研究と位置づけられます。
本研究では、2つの攻撃手法を提案し、その有効性を定性的・定量的に評価しています。まず、基本的な攻撃手法による攻撃の評価を行いました。これにより、わずか5つの攻撃サンプルでもテキストから画像を生成するモデルを攻撃することができることがわかりました。しかし、この攻撃手法はモデルの性能を低下させる副作用も生じさせました。そのため、副作用を最小限に抑えながら攻撃性能を確保するための攻撃手法も提案しました。さらに、攻撃手法による副作用の原因を分析し、その改善策も示しました。
本研究の有効性は、定量的・定性的な評価によって検証されました。実験結果から、テキストから画像を生成するモデルが提案された攻撃に対して脆弱であることが明らかになりました。また、改良された攻撃手法を用いることで、副作用を最小限に抑えつつ攻撃性能を向上させることができることも示されました。