#AI
驚異の1ビットLLMを試す。果たして本当に学習できるのか?
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。
BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。
この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジ
速報：話題の 1ビットLLMとは何か？
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/ab
もっとみる
Google Colab で LLaMA-Factory を試す
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。
1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。
サポートするモデルは、次のとおりです。
サポートする学習法は、次のとおりです。
サポートするデータセットは、次のとおりです。
依存関係は、次の
