四畳半のオフィスで70億パラメータのLLMを事前学習した話

はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めています…