【ナーフ？】perplexity版Claude3 Opusの性能変化についての体験談

はじめに

PerplexityのClaude3 Opusは、私の日常業務における重要なパートナーとなってきました。しかし、最近になって、このAIとの関係に少し複雑さが生じてきました。この記事では、Claude3 Opusとの関わり方に起きた変化について、私の体験をもとにお話しします。

Perplexityを半額でお得に使う招待リンク
https://perplexity.ai/pro?referral_code=6YX536YQ

英語ページの要約と日本語出力の問題

Claude3 Opusに頼り切っていた作業の一つに、英語で書かれたページの内容を要約してもらうというものがあります。これまでは、システムプロンプトを日本語で書き、日本語での出力を求めることができました。

しかし、ある時を境に英語での出力が返ってくるようになり、日本語での出力を得るためには、チャット欄に直接指示を書く必要があるという、以前にはなかった手間が発生しています。

ただし、音声からの文字起こしに関しては問題なく日本語での出力が得られているため、完全に性能が低下したわけではありません。

この記事を最初Claude3 Opusで書かせようと思ったのですが、全くプロンプトを理解してくれなかったのでGPT4ターボで出力しました。下記画像はその結果と過程です。

文字起こし元

Mac用プログラムコードの問題

Macで使用するプログラムコードをClaude3 Opusに書かせようとしたところ、期待した結果が得られませんでした。私の意図を理解してくれないのか、それとも別の理由があるのかは定かではありませんが、OpenAIのGPT-4ターボに切り替えると、問題なく対応してくれました。プログラミングに関する知識の学習が不足しているのか、他に原因があるのか、深く考えさせられました。

出力文字量の減少

公式のClaude3 Opusを使用していると、以前に比べて出力される文字量が少なくなったことに気がつきました。特に、日本語での出力を求めた場合にこの傾向が顕著です。英語での出力ではそれほど減少しているとは感じられないため、これが日本語特有の問題なのか、それともトークン量の消費に関連しているのかは不明です。

まとめ

これらの体験を通じて、Claude3 Opusとの関係が以前とは異なるものになってきたことを実感しています。性能の変化や出力の質に影響が見られることがあり、これが倫理的規制の強化、内部的な変更、あるいは言語処理能力の差異によるものかは定かではありません。

しかし、これらの変化に対応しつつ、最適な使用方法を模索することが、私にとっての新たな課題となっています。同時に、Perplexity側もユーザーのフィードバックを受け、サービスの改善に努めてほしいと願っています。