AI性格診断のProfileGPTを試してみた

「ChatGPTの利用履歴から超詳細な性格診断を実施」とGigazineで紹介されれていたProfileGPTを試してみた。

結果

結論から言うと、結果は以下のように残念な感じだった。

1. 殆どの項目で「十分な情報が得られませんでした」と表示。また、全然趣味じゃないものを趣味にされる（翻訳とか）

2. webをクロールして集めてきた情報に、名前が似ている他人のアカウントがだいぶ混じっている

3. 肝心の性格診断、他のサービスでの診断結果と全然違う（他サービスではほぼ一貫してENTJと出るが、ProfileGPTではISFJ。一文字しか合ってない）

原因

で、そんな残念な結果になる原因は以下：

1. サンプリング誤差：ProfileGPTは、ユーザーとGPTの過去のやり取りをGPTに渡して分析させているのだが、GPTに渡せるトークン上限（text-davinci: 4097 tokens）の都合のためか、過去のやり取りのごく一部をランダム抽出している。なので、サンプリング誤差が発生する。

2. GPTとのやり取りにおけるバイアス：ユーザーとGPTのやり取りは、基本的にGPTの得意領域に制約される。例えば、私は昨日見た面白いコンテンツの話をGPTにするかというと、全然しない。一方で、文章の翻訳は結構依頼している。それは、私がコンテンツ鑑賞より翻訳が好きだからではなく、GPTが翻訳をより得意としているだからだ。しかしその結果、私は翻訳に強い関心を持っている人扱いになったしまう。つまり、私の興味関心とは何の関係もないバイアスが発生する。

今後

さて、サンプリング誤差は今後トークン上限が緩和されるに従って改善する見込みはあるが、GPTとのやり取りにおけるバイアスはどうだろうか。

日常生活のことをなんでも話す、親友のようなパーソナルアシスタントが誕生しない限り、難しいだろう。

とはいえ、インプットをLLMとの過去のやり取りに限定する必要はないので、単に日記等の日常記録をLLMに渡せば、解決可能ではある。

と、いうわけで、LLMのcontext lengthが拡大すれば、日記等を渡して比較的正確な性格診断（もどき）をしてもらうことはできそう。

しかし今のところ、以下Gigazine記事のタイトルにある「超詳細な性格診断」とか「ChatGPTに把握されている個人情報を可視化」というのは、正直、実態と乖離した煽り文と言わざるをえない。
（ちなみにProfileGPT作者のgithubページにはそんな煽りは全然ないので、あしからず）

ChatGPTの利用履歴から超詳細な性格診断を実施＆ChatGPTに把握されている個人情報を可視化してくれる「ProfileGPT」使ってみたよレビュー

というのが、ProfileGPTの感想でした。
今後もAIプロダクトの感想や、AIに関する思考を垂れ流していきます。