RLHFってなーに？

勉強会のおかげで、いろいろご質問いただけるので
ひいては、自分でも弱い所勉強しなきゃで、その整理の過程も記事にしていきます。

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックからの強化学習）は、生成AI（人工知能）をトレーニングする方法の一つです。この方法は、人間の判断や好みをAIに学ばせることで、より役立つ、または望ましい反応をするようにするものです。
Googleの生成AIが数年前にデビューしたときにヒトラーを肯定した事で社会的バッシングを浴びていったん公開が中止になり、最低限これはダメ！って事もペットのしつけのようにおしえこまなきゃいけなくて、社会に否定されない為の安全策で施されるという面もあります。

1. 人間のフィードバック
   まず、人間がAIに対してどのような出力が良いか、悪いかを教えます。例えば、「この文章は面白いか？」「この回答は質問に合っているか？」など、人間の評価が基準となります。

2. 強化学習
   強化学習は、試行錯誤を通じて学習するAIの方法です。AIは、ある状況でどのような行動を取れば「報酬」をもらえるのかを学びます。RLHFでは、人間のフィードバックが「報酬」として使われ、AIはより良いフィードバックを得られるように行動を調整します。

3. フィードバックの利用
   人間からのフィードバックを受けたAIは、そのデータをもとに、より良い、望ましい反応をするように訓練されます。つまり、人間が「いいね！」と思うような出力を多くするように学習していきます。
   例
   想像してみてください。あなたがビデオゲームをプレイしていて、ゲーム内で特定の行動（例：敵を倒す、宝を見つける）を取るとポイントがもらえるとします。ゲームを進めるにつれ、どの行動がより多くのポイントをもたらすかを学習し、高得点を目指して戦略を練っていくのと似ています。RLHFでは、AIがゲームプレイヤーで、人間のフィードバックがポイントのようなものです。AIは、より多くの「ポイント」を得るために、どのような「行動」（出力）が望ましいかを学んでいくわけです。

この方法により、AIは人間にとってより有用で、理解しやすい、または楽しい反応を提供できるようになります。AIの学習プロセスを人間が直接的にガイドすることで、AIの性能や有効性を大幅に向上させることができるのです。

＜混在してる人はいないかもですが、後付けの外部からの情報という観点でRAGとの違いを再度頭にいれておきましょう＞

RLHF（Reinforcement Learning from Human Feedback）とRAG（Retrieval-Augmented Generation）は、どちらも人工知能（AI）の分野で使われる方法ですが、目的と機能が異なります。それぞれを簡単に説明しましょう。

RLHF（Reinforcement Learning from Human Feedback）
目的: AIの出力の質を向上させること。人間のフィードバックを使ってAIモデルを訓練し、人間が望むような反応をAIが生成できるようにします。
方法: 人間がAIの出力に対して正のフィードバック（良いと評価）や負のフィードバック（悪いと評価）を提供します。AIはこのフィードバックを「報酬」として受け取り、強化学習を通じて、より良いフィードバックを得るための出力を学習します。
RAG（Retrieval-Augmented Generation）
目的: AIの生成した回答やテキストの質と関連性を向上させること。情報の取得（retrieval）を組み合わせることで、より正確で豊かな内容を生成します。
方法: RAGは、問い合わせ（クエリ）に基づいてデータベースやインターネットから情報を検索し、その情報を使って回答やテキストを生成します。つまり、AIが何かを「書く」際に、関連する情報を「調べる」ステップが含まれます。
RLHFとRAGの違い
RLHFは、人間のフィードバックを基にしてAIの行動を調整し、望ましい出力を生成するように学習することに重点を置いています。これは、AIがどのように「振る舞う」べきかを学ぶプロセスです。
RAGは、生成過程において外部から情報を取得し、その情報を組み込むことで、回答の質や内容の正確さを高めることに焦点を当てています。これは、AIが「調査する」能力を持ち、それを元に「創造する」プロセスです。
簡単に言えば、RLHFは「人間の反応から学ぶ」方法であり、RAGは「外部情報を取り入れて賢くなる」方法です。これらは、AIをより賢く、役立つものにするための異なるアプローチです。