マガジンのカバー画像

それなGPT

14
本
ChatGPT Plusを契約してしまったそれなニキが、ありあまる処理能力を活かして色々試していくマガジンです。
運営しているクリエイター
それなニキ
それなニキ

それなニキ

今更聞けないLLM解説まとめ⑥RLHF

今更聞けないLLM解説まとめ⑥RLHF

どうも、それなニキです。

今回で理論周りの話は最後になります！

1.RLHFの概要と目的さて、今回扱っていくのは
RLHF (Reinforcement Learning with Human Feedback)
です。

まあ「人間のフィードバック付きの強化学習」という名前そのまんまです。
これまでの事前学習・Fine-Tuningでは、与えられた回答と推測を直接比較してその誤差から学習を行

もっとみる
それなニキ

それなニキ

今更聞けないLLM解説まとめ⑤Fine Tuning

今更聞けないLLM解説まとめ⑤Fine Tuning

どうも、それなニキです。

今回も勉強を続けていきましょう。
いつものごとく、自分の思考まとめで読みにくいですがご了承ください。

また、最初からそうですが、基本的には松尾研のLLM Summer School 2023の内容を全面的に参照しています。

1.LLMにおけるFine-Tuningの位置づけまずはLLMを訓練していく上での流れを俯瞰してみましょう。

これまで扱ってきた「事前学習」は

もっとみる
それなニキ

それなニキ

今更聞けないLLM解説まとめ④事前学習のスケール

今更聞けないLLM解説まとめ④事前学習のスケール


どうも、それなニキです。
今回も引き続き取り組んでいきましょう。

1.LLMのスケールについて今回はLLMのスケール(大規模化)について扱います。

第三回を見ていただいた方には、LLMの性能(Lossの小ささ)はAttention機構やFeed Forward内のパラメータによって決まってくる、ということはご理解いただけると思います。
そこから、たくさん学習すればパラメータがより最適化されて

もっとみる
それなニキ

それなニキ

今更聞けないLLM解説まとめ③事前学習

今更聞けないLLM解説まとめ③事前学習


始めにどうも、それなニキです。

今回から本格的にLLMの仕組みを掘り下げていきます。
相も変わらず私の思考メモなので読みづらいですが悪しからず。

1.ニューラル言語モデルまずは、LLMを解説するうえで基礎となる言語モデル(LM)の構造から扱っていきます。

第一回でちらっと触れたと思いますが、言語モデルというもの自体はそれほど新しいものではなく、過去に様々なタイプが開発されてきています(n-

もっとみる