Meta社のLLM「Llama2」に基本情報試験を解かせてみた
chatGPTやbingなど、強力な大規模言語モデル(LLM)がサービスとして提供されている中、ついにオープンソースで GPT-3.5 相当の性能を持つとされるモデルが公開されました。Metaが開発したLLM、「Llama 2」です。
論文ではいろいろな自然言語タスクのベンチマークを計測していますが、研究をきっちり追いかけきれていない私のような人間には、どれほどの性能なのかイマイチピンときません。そこで、エンジニアならきっとイメージしやすい基本情報試験を解かせてみることで、