#LLM
驚異の1ビットLLMを試す。果たして本当に学習できるのか?
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。
BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。
この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジ
速報：話題の 1ビットLLMとは何か？
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/ab
もっとみる
Google Colab で LLaMA-Factory を試す
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。
1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。
サポートするモデルは、次のとおりです。
サポートする学習法は、次のとおりです。
サポートするデータセットは、次のとおりです。
依存関係は、次の
化学者のための大規模言語モデル・ラボオートメーションのすすめ(草稿)
(23/12/25: 情報を追加したり､表現を少し変えたりしました)
あまり使う人いないと思いますが､本記事はCC BY 4.0ライセンスです｡
本記事の趣旨筆者の最近のマイブームである表記の件について､日本語のわかりやすい解説記事を化学系の読者向けに書いてくださいと頼まれたので､頭の整理も兼ねて､下書きを記します｡
間違いやフィードバックなどあれば､コメントをいただけると助かります｡
ま
エージェント型AIシステム構築の7つの原則： OpenAI『Practices for Governing Agentic AI』を読み解く
本稿はLLM Advent Calendar 2023 19日目の記事です。
AIエージェントシステム構築のガイドラインについてOpenAIの研究者らが論じているホワイトペーパー『Practices for Governing Agentic AI』（2023年12月14日公開、以下ホワイトペーパー）の内容が非常に示唆に富むものだったので、本稿ではこの内容を読み解いていこうと思います。
注意事