GPTs作成への道①【プロンプトインジェクションについて】
GPTを公開するにあたって、GPTの悪用を防ぐため、少し工夫を行わなければいけません。
今回はその中でも、「プロンプトインジェクション」について学びます。
参考にさせていただいているサイトは以下です。
(いつものサイトです…)
プロンプトインジェクションとは?
以下、上記サイトより引用です。
プロンプトインジェクションとは、
「プロンプト内の元の命令を特別なユーザー入力で、上書きする処理」
というものです。
ITパスポートなどを受けている方は「SQLインジェクション」という言葉が近しい意味となります。
例を示すことが難しいですが、例えば今回制作予定の添削AIを例にとります。
上記のプロンプトを一つ入力するだけで、英作文の添削AIではなく、翻訳AIとなってしまいます。
プロンプトインジェクションの恐ろしさは、とにかく
「自然言語でハッキングできる」
「明確な制御方法が定義できない」
ことです。
誰でも簡単にできるのが末恐ろしいところですね…。
プロンプトインジェクションへの対策
実はGPTを作る上では、案外簡単です。
作成時に「会話データをGPTに使用して、モデルを改善する」という設定ができます。
この設定を有効化することによって、ユーザーの入力した会話データをそのまま学習データとして扱うことができます。
逆に言えば、これをオフにしておくことで、入力されたものは学習されません。
難しくなくてよかった…。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?