【GPTs】 Instructions VS Knowledge

はじめに

GPTsに学習させる際、InstructionsとKnowledge２つの学習方法がある。

基本的には方針から始まり基本的な情報をInstructionsに記載して、ファイル単位で情報がまとまっている場合PDFなどをKnowledgeに学習させていた。

Knowledgeのアップロードファイルから情報を参照するとき、
「私の知識を検索中」
という表示が高確率で出てしまう気がしてて、回答に時間がなるべくかからないようにInstructionsに情報を集約する方が良いという考えてやってきた。

今日ふと、 Instructions と Knowledge に別々の情報を記載したらどちらを優先するのか気になったので実験してみた。

実験開始

GPTで架空の商品名と値段のリストを作成、次に商品名は同じで値段だけ違うリストを作成する。それをそれぞれ Instructions と Knowledgeにアップロードした。
Instructionsには文字列をそのままアップロード、KnowledgeにはTXTファイルでアップロードした。

■SolTech チャージャブル・ソーラーランタン
説明: 無限の太陽エネルギーを利用して光る、持ち運び可能なソーラーランタン。キャンプや非常時に最適。
価格: ¥4,500
■AquaPure スマート浄水ボトル
説明: どんな水も瞬時に安全な飲料水に変える、高性能フィルター内蔵スマートボトル。
価格: ¥7,800
■EcoGrow 自動植物栽培キット
説明: 自宅で手軽に野菜やハーブを育てられる、完全自動化された植物栽培キット。
価格: ¥15,000
■SkyMap 星空プロジェクター
説明: 自宅の天井に美しい星空を映し出す、リアルタイム天文データ連動型プロジェクター。
価格: ¥12,000
■ZenSound ノイズキャンセリングイヤホン
説明: 最先端のノイズキャンセリング技術で、どこでも集中をサポートするイヤホン。
価格: ¥9,800
■FutureFit AIトレーニングウォッチ
説明: 個人のフィットネスレベルに合わせてトレーニングプランをAIが提案するスマートウォッチ。
価格: ¥22,000
■SmartLock フェイス認証ドアロック
説明: 顔認証技術でセキュリティを強化した、キーレスで操作できるドアロック。
価格: ¥18,000
■DreamWeaver スマート枕
説明: 睡眠中の頭部と首を最適な位置に保ち、睡眠の質を高めるスマート枕。
価格: ¥11,000
■ClearAir 室内空気清浄機
説明: AIが室内の空気質をリアルタイムで監視し、最適な空気清浄を行う高性能空気清浄機。
価格: ¥20,000
■PowerBank Pro 超高速モバイルバッテリー
説明: 最新技術により超高速充電が可能な、大容量モバイルバッテリー。
価格: ¥8,000
■InfiniteBook 電子ペーパーノート
説明: 紙のような書き心地で何度でも書き消し可能な、電子ペーパー技術を使ったデジタルノート。
価格: ¥10,000

■SolTech チャージャブル・ソーラーランタン
説明: 無限の太陽エネルギーを利用して光る、持ち運び可能なソーラーランタン。キャンプや非常時に最適。
価格: ¥13,501
■AquaPure スマート浄水ボトル
説明: どんな水も瞬時に安全な飲料水に変える、高性能フィルター内蔵スマートボトル。
価格: ¥23,401
■EcoGrow 自動植物栽培キット
説明: 自宅で手軽に野菜やハーブを育てられる、完全自動化された植物栽培キット。
価格: ¥45,001
■SkyMap 星空プロジェクター
説明: 自宅の天井に美しい星空を映し出す、リアルタイム天文データ連動型プロジェクター。
価格: ¥36,001
■ZenSound ノイズキャンセリングイヤホン
説明: 最先端のノイズキャンセリング技術で、どこでも集中をサポートするイヤホン。
価格: ¥29,401
■FutureFit AIトレーニングウォッチ
説明: 個人のフィットネスレベルに合わせてトレーニングプランをAIが提案するスマートウォッチ。
価格: ¥66,001
■SmartLock フェイス認証ドアロック
説明: 顔認証技術でセキュリティを強化した、キーレスで操作できるドアロック。
価格: ¥54,001
■DreamWeaver スマート枕
説明: 睡眠中の頭部と首を最適な位置に保ち、睡眠の質を高めるスマート枕。
価格: ¥33,001
■ClearAir 室内空気清浄機
説明: AIが室内の空気質をリアルタイムで監視し、最適な空気清浄を行う高性能空気清浄機。
価格: ¥60,001
■PowerBank Pro 超高速モバイルバッテリー
説明: 最新技術により超高速充電が可能な、大容量モバイルバッテリー。
価格: ¥24,001
■PhotonDesk スマートデスクライト
説明: 目の疲れを軽減し、集中力を高めるために光の色温度と明るさを自動調整するデスクライト。
価格: ¥19,501

Instructions と Knowledgeの狙った方から参照させるために、
■InfiniteBook 電子ペーパーノート
はInstructionsのみの商品
■PhotonDesk スマートデスクライト
はKnowledgeのみの商品にした。

残念な実験結果・・・・・

まずはじめに、「InfiniteBook 電子ペーパーノート」の値段を聞く

正常にInstructionsが読めている。

次に「PhotonDesk スマートデスクライト」の値段を聞く

Knowledgeの情報も正常に読み込めている。

では、Instructions と Knowledge両方に書かれている商品はどうなるだろうか？

まさかの、Knowledgeの情報を優先した。
他の商品も試したが、Knowledgeの情報を必ず参照することがわかった。
Instructionsをメインにやってきた自分としては大ショックの結果だった。

優先順位を明確にする

では、Instructionsに両方記載がある場合はInstructionsを優先するように命令してみてはどうだろうか？

Instructionsに書かれている内容を優先し、Instructionsに情報がない場合はKnowledgeから参照してください。
両方に同じ商品の情報が書かれている場合はInstructionsの情報を使用してください。

これなら、Instructionsを優先してくれるだろう。

だめだ、こいつInstructionsなんて読んじゃいない（涙）

優先順位を明確にする２

GPTsはKnowledgeを優先していて、Knowledgeで回答が見つかると、Instructionsを読まなくなる懸念があることがわかった。では、Knowledgeの方にInstructionsを優先するように書いてみてはどうだろうか。

Knowledgeしか読んでないとしても、これならInstructionsを読まざる得ない（はず）。

先ほどと同じ流れでチェックする。
まず、Instructionsの読み込みチェック

次に、Knowledgeにしか書いてない「PhotonDesk スマートデスクライト」の価格を聞く

次に、両方に書かれている
■SolTech チャージャブル・ソーラーランタン
の価格を聞く

やった！上手く行った。

というわけで、GPTsは完全に
Instructions ＜ Knowledge
で作られていました。