Perplexityで「Llama 3.1 405B」が使えるのだが……

こんにちは！AI整体師です。

Open AIが「ChatGPT-4o mini」をリリースして盛り上がってる最中、今度はMetaが「Llama 3.1 405B」をリリースしてきました。

早速、X界隈ではAIの達人たちが性能検証をしているらしく、僕にはチンプンカンプンで意味不明なので、皆さんの検証結果を眺めながら楽しんでおります。

自分サイズの話で言うと、Perplexityに「Llama 3.1 405B」が実装されました。

Perplexityを有料契約している人は、「Llama 3.1 405B」を選択して使えるようになってます。

軽く使ってみた感想

僕も早速使ってみたんですが、正直なところ「え？回答スピード遅っ！」でした。。

PerplexityでLlama 3.1 405B使うとめっちゃ回答遅いんだけど、俺だけなんかな？ pic.twitter.com/4fjR67Am9E

— 奥村龍晃@AI×整体院経営 (@redcord_okumura) July 24, 2024

僕がPerplexityのモデルで普段使ってるClaude 3.5 sonnetと比較したんですが、思わずこんなポストをしてしまうくらい回答スピードが明らかに遅い！

X界隈では「ChatGPT-4oよりも性能が高くて、回答が爆速！」なんて意見もあったんですが、僕の体感値ではめっちゃ遅かったです。

これは、”Perplexityというハード”上で動かすには向いてないのかもしれないので、たった数回触っただけで結論を出すのは違うと思うんですが、僕はこういう結果になりました。

ちなみに「Groq」というサイトから使うとマジで爆速だったので、多分ハードの問題なんだと思います。

余談ですが

Perplexityで「Llama 3.1 405B」を使ったところ、いつもと違う出力の仕方をしました。

モデル「Llama 3.1 405B」

基本のPerplexityは、プロンプトで指定しない限り、参考文献を”項目として”出力しないんです。

モデル「Claude 3.5 sonnet」

何度か他のプロンプトで試してみたら、「Claude 3.5 sonne」では全く出ないのに、「Llama 3.1 405B」ではいつも以上に多い頻度で、参考文献の項目を出力しました。

これは「Llama 3.1 405B」の標準的な回答の仕方なのか？よくわかりませんが、ちょっと面白い挙動だなぁと思いました。

まとめ

対してみんなの役に立つ情報ではありませんが、自分が触った結果や感触は、振り返りをする時のために残しておこうと思い書きました。

本当にすごい速さでAIは進化していきますね。

全く付いていけてませんが、これからも楽しく自分のペースで追いかけていこうと思います。

でわでわ、次回の記事で！