最近の個人的なLLM周りについて

こんにちは、奏守です。
最近思ったこととかをダラダラ書いてるだけです。

ローカル

RTX3090買ったので、7BくらいのローカルLLMをサクサク動かせて楽しい。ollamaでphiとLlama2 8BとLlama2 13B 8bitを試した。次はSakanaAIのEvoLLM-JP-v1-7Bを動かしたい。小さいモデルを組み合わせて進化的アルゴリズムで性能を改善するっていう手法がめっちゃ好き。このモデル構築も試せそうなら試してみたい。

OpenAI

Embeddingの新モデルが出たのでRAGが捗る。
一方でここ1ヶ月でChatGPTはやけに改悪した気がする。Custom Instructionをすぐ無視するようになった(今は改善されたかも？)。短いコードについての数回のやり取りでも一貫性がなくなる。Continueボタンが消えた。別のブラウザやアプリから開くと、最後のプロンプトに対するレスポンスが消えて、Regenerateになる。
Plusでも安定性が無さすぎるの本当にどうしようもない。Teamにアップグレードも考えなくはないけど、これで同じように安定性が無かったらお金の無駄が過ぎるし。
あとAPIの仕様もクレジット事前購入になったの面倒すぎる。
claude3を試してみるのもいいかもしれない。出資企業の一部が気に食わないけど。