Persona Hubについて

少し前に中国のTencentのチームが発表したPersona Hub（テクニカルレポート）について書いてみたいと思います。

これは、詳しい解説記事というわけではありません。
ただ情報収集している中で、いくつかの解説記事の説明は少し著者たちの狙いとずれているのではと感じたので、いろんな資料をざっと読んでいる人にとって、この記事が補足的な資料になればよいなと思って書いています。

もし誤解している部分があれば（この記事が誤情報を撒き散らしていれば）、ご指摘いただけると助かります。

Persona Hubは、ウェブデータを活用して膨大なペルソナ（「〇〇の専門家」みたいな人格・属性を表す短文）を生成したデータセットです。

具体的にどうやって生成しているかは示されていないようですが、ペルソナからさらに別のペルソナを生成することで、ペルソナの多様性を増やしているそうです。ペルソナ間の被りがなるべく小さくなるように工夫しており、合計で約10億人分のペルソナ文があるそうです。

　　　＊＊＊

これまで「あなたは〇〇の専門家です」のように１つずつ自前で書いていたプロンプトも、このようなペルソナのセットがあればもっと簡単かつ大量に属性設定を流し込むことができるようになります。Chain of Thoughtsプロンプティングするときも、各所にいちいちペルソナ情報を差し込んでいくことができます。

こうすることのメリットは、
より多様な出力をLLMから引き出せること
です。

　　　＊＊＊

ペルソナがたくさんあるのだから、
様々な属性を持つ人間が生成しそうなデータ（文章）を生成できる
ことがメインのメリットでは？と思うかもしれません。

確かに指定したペルソナと出力情報が整合していることは望ましいですし、期待されるところでもあります。
テクニカルレポート内でも（ざっくり）その検証をしています。

しかし、一方で単にプロンプトでペルソナを指定したくらいでは「特定の属性の人らしさ」は表現できていないらしいという研究も、特に今年に入ってから出てきています（逆に昨年までは楽観視している論文が多い傾向のように思います）。

これは私見ですが、著者たちもペルソナの設定が「正確に」出力に反映されることには重きを置いていないのではないかと思いました。

あくまでペルソナはプロンプト構築のための道具にすぎず、目的は「より多様な出力をLLMから引き出すこと」なのだと思います。

フラットにChatGPTに聞いて出てくるよりも多様な答えが膨大に引き出せるのであれば、それが子供のペルソナだろうと看護師のペルソナだろうと化学者のペルソナだろうとあまり関係ないはずです。
もちろん指定した状況設定に見合うレベルの出力というくらいの粒度では重要ですが、それはペルソナの設定自体が正確に出力に反映されていることを要請するものではありません。

　　　＊＊＊

個人的には、ペルソナベースのプロンプティングというPersona Hubの切り口はとても面白いと思いました。

ただPersona Hubを見て、*正確な*仮想データが出せるとまで信じてしまうと（おそらく著者たちはそこまでは言っていない）、いろんな誤解が生まれるのではないかとも感じました。

将来的にはどうなっていくかはまだわかりませんが、
思ったことは以上です。