GPT-4とGPT-4oの性能比較をサカナクションへの理解度で測る
タイトルの通り、GPT-4とGPT-4oのパフォーマンスの比較をサカナクションへの理解度で測り、どれくらい差があるのかを考えてみる。研究でもなんでもないので主観的な面はある。
具体的には一郎さんの歌詞をプロンプトとして与え、それらを解釈させたうえで曲のテーマを導き出させてみる。一郎さんがインタビュー等で歌詞について触れられている曲に対象を絞り、一郎さんの答えにどれほど近いかで性能比較を行おうと思う。
import osfrom dotenv import load_dot