マガジンのカバー画像

AI Memo

10
運営しているクリエイター

#大規模言語モデル

1bit LLM の時代は来るのか,来ないのか,どっちなんだい?

1bit LLM の時代は来るのか,来ないのか,どっちなんだい?

徳永拓之(LeapMind(株))

1bit LLMの時代が来る? 2024 年2 月,The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され,にわかに話題となりました.“1.58 Bits” という表現はあまりなじみがありませんが,log₂(3) = 1.58 . .

もっとみる
Google Colab で LLaMA-Factory を試す

Google Colab で LLaMA-Factory を試す

「Google Colab」で「LLaMA-Factory」を試したので、まとめました。

1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。

サポートするモデルは、次のとおりです。

サポートする学習法は、次のとおりです。

サポートするデータセットは、次のとおりです。

依存関係は、次の

もっとみる