小さく始めるか、大きく挑むか：日本のLLM開発戦略を読み解く

お疲れ様です。

日々新しいLLMモデルが登場していますが、日本で開発されているLLMモデルの現状について、私なりに整理してみました。

大別すると、小型軽量のモデルを開発するグループと、大型のモデルを開発するグループに分かれると考えています。

① 小型軽量のLLMを開発するグループ（NEC、NTTなど）
NECは「Cotomi」というLLMを開発しており、NTTは「Tuzumi」というLLMを自社で開発しています。どちらも数百億パラメータ程度のLLMの開発に注力しており、目指している方向性は似ていると感じます。唯一の違いとして、TuzumiはSakana.AIと提携しており、小さいモデルを組み合わせて強いモデルを作るモデルマージに関心があるようです。最終的に目指しているのは、オンプレミスサーバに乗る程度の小型軽量モデルをAPIを経由せずに使うことで、情報セキュリティの問題をクリアにすることだと考えています。

② 大規模LLMを開発するグループ（ソフトバンク、プリファードネットワーク）
一方、プリファードネットワークは1000億パラメータ規模のLLMを開発しており、ソフトバンクは3900億パラメータのLLMや1兆パラメータを超えるLLMの開発を目指しています。一見すると、小型軽量のLLMを作っているNECやNTTとは異なる方向性を目指しているように感じますが、ソフトバンクもプリファードネットワークは、まず大型で精度の高いLLMを開発し、その上でモデルを蒸留することで小型軽量で精度の高いLLMを開発することを目指している可能性が高いです。そのため、最終的には目指す方向性は同じですが、NEC・NTTとソフトバンク・プリファードネットワークでアプローチが大きく異なっていると感じます。

最終的に目指すべきところは同じとはいえ、いきなり何千億パラメータのLLMを開発するのは、多額の資金が必要なので、会社としてAIに対する強いビジョンがないとなかなかできないことかと思います。

各社のカラーが見えてとても面白いと思います。

今回取り上げなかった企業として、PKSHAやサイバーエージェントなどもLLM開発に積極的です。これらの企業の取り組みについては、別途紹介できればと思います。

最後まで記事を読んでいただき、ありがとうございました。