オープンソースの大規模言語モデルの性能向上：ChatGPTからオープン大規模言語モデルへ

はじめに:

近年、オープンソースの大規模言語モデルの開発が急速に進んでおり、その性能向上が注目されています。特にVicuna 33bなどのオープンソースでも驚異的な結果が得られるようになりました。本記事では、オープンソースの大規模言語モデルの性能向上について詳しくと見ていく同時に、チャットボット同士の性能を競わせるサイトやVicuna 33bを含む複数のモデルを一括で比較するサイトを紹介します。Vicuna 33bを無料で試すことができます。

こんな感じで6つの大規模言語モデルを比較できるサイトをご紹介します。

Vicuna 33bを無料で試す

大規模言語モデルのバトル

大規模言語モデルの評価

について語っていきたいと思います。

大規模言語モデルの評価

大規模言語モデルの評価は、単一のメトリクスだけではなく、複数の指標を使用することが求められます。近年、いくつかの新しい評価指標が提案され、広く受け入れられています。本記事では、Chatbot Arena Elo、MT-Benchスコア、およびMMLU（Mean Model Logit Utilization）といった大規模言語モデルの評価指標について詳しく探っていきまます。

今まで13bサイズが最大だった Vicuna 33bの性能の評価が公開されました。

オープンモデルと3つの指標（Chatbot Arena Elo、MT-Benchスコア、MMLU）によるテスト共有しています。