GPT-4は8つのLLMの混合モデルらしい
GPT-4の構成やパラメータ数は今のところ明かされていません。OpenAIがあえて発表しないのAIの危険性を避けるためだそうですが、実際には自分のビジネスを守るという一面もあるでしょう。
ところが、PyTorchの開発者であるMetaのSoumith ChintalaのツイートがGPT-4の構成やパラメータ数について言及しています。彼は、「GPT-4は8個のエキスパートから構成されている」と言っています。このエキスパートとは大型言語モデル(LLM、Large Language Model)のことで一つにつき2,200億のパラメータを持つそうです。合計で、1.76兆となります。
でも、この情報は彼自身のものではありません。
この記事が気に入ったらサポートをしてみませんか?