GPT 3.5-turboが20Bパラメータという話の後日談
TL;DR 論文著者によれば「論文に書いたパラメータ数の出所はForbesの記事であり、その記事にソースの記載はない」とのこと。
10月26日にarxivに掲載された論文で、GPT 3.5-turboのパラメータ数が200億(20B)という記載があり、数日前に話題になった。
論文著者が(OpenAIと提携している)Microsoftの研究者だったこともありバズったものらしい。
この件に関してRedditに検証ポストがあったので、簡単に内容をまとめてみる。
11月1日になってarxivページに論文著者の釈明が掲載されている。
論文著者が参照したというのは、ビジネス雑誌Forbesに2023年2月(半年以上前)に掲載された以下の記事。
この記事は外部の寄稿者(生成AI関連のマーケティング会社の経営者)によるコラムで、一般読者向けにChatGPTについて解説したもの。
肝心のパラメータ数については、前置きも引用もなく、以下のようにサラっとカッコ書きされているだけ。
なお、これは時期的にGPT 3.5-turboの公表前に書かれた記事なので正確には「ChatGPTのパラメータ数が20Bである」という書かれ方になる。
GPT 3.5のパラメータ数は非公開であるために、以前から真偽不明の情報がよく流布している(以下の記事に詳しい)。