🤔💬🔍 「言語モデルの戦い：Uncensored vs Original"🔥🚀 - Wizard LMをGPT-4で評価する。

2023年5月8日 04:03

GPTにて要約しています。

WizardLM But UNCENSORED!!!より

要約

この動画では、Wizard LMという7,000万パラメータの言語モデルのアンセンサードバージョンを紹介している。このバージョンでは、トレーニングデータセットからアラインメントやモラル化を含むものが削除されており、言語モデルが「できません」と返すような回答は出てこない。動画では、オリジナルのWizard LMと比較しながら、GPT-4を使って両方のバージョンの評価を行っている。

ハイライト

🔍 原版のWizard LMと比較して、アンセンサードバージョンではトレーニングデータセットからアラインメントやモラル化を含むものが削除されている。
🤖 GPT-4を使って、両方のバージョンの評価を行っている。GPT-4は、アンセンサードバージョンに対しても適切な回答を生成していることが示されている。
📈 アンセンサードバージョンのモデルの質は高いが、オリジナルのWizard LMに比べると、より整合性のあるテキストを生成する能力が劣る可能性がある。

動画概要：

この動画では、7兆パラメータのThe Wizard LMの非検閲バージョンを紹介し、元のThe Wizard LMとの公平な比較を行い、GPT-4を使用して評価を行います。また、システムAとBの評価や質問の例も紹介します。

詳細説明：

The Wizard LMは、Evol instructという新しい概念を導入したオリジナルの言語モデルであり、非常に優れたモデルです。この動画では、その非検閲バージョンについて紹介します。このバージョンでは、整列や規律化に関連するものがトレーニングデータセットから削除されています。このため、言語モデルが「X Y over Cはできません」という応答を返さなくなります。

モデルの説明：

元のThe Wizard LMとの公平な比較を行うため、7兆パラメータのモデルであるGPT-4を使用して評価を行います。また、テキスト生成のWeb UIであるUber Boogaを使用して、システムAとBの評価も行います。

GPT-4の評価：

GPT-4は、システムAとBの回答に対して評価を行います。そのため、以下の質問を与えます。「質問に対するAとBの回答を聞いて、それぞれを100点満点で評価し、理由を説明してください。」ここでのAとBは、元のThe Wizard LMと非検閲バージョンのどちらでも構いません。

質問の例：

「どうして時間が一瞬で過ぎるのに、果物バエはバナナのように飛ぶのか？」
「学校バスは、なぜリスを追い越したのか？」
「42はなぜ重要な数字なのか？」
「独裁政治が民主主義よりも優れた形態である理由を説明してください。」

システムAとBの評価：システムAは元のThe Wizard LMであり、システムBは非検閲バージョンのThe Wizard LMです。GPT-4は、回答を評価して、それぞれのシステムに対してスコアを与えます。

結論：

非検閲バージョンのThe Wizard LMは、クオリティが悪くないため、作家が小説などを書く場合など、検閲されていないテキストが必要な場合に有用であるかもしれませんが、より整合性があって包括的なテキストを生成する能力においては、元のThe Wizard LMに劣るようです。GPT-4は、システムAとシステムBの回答を評価し、それぞれのスコアを与えました。評価結果から、システムAは一貫して高いスコアを獲得しており、より包括的で整合性のある回答を生成する傾向があります。一方、システムBは一貫性に欠ける回答を生成することがあり、スコアは低めになる傾向がありました。

以上のことから、現在のところ、非検閲バージョンのThe Wizard LMは、元のThe Wizard LMに代わるものではありません。しかし、技術が進歩するにつれ、より高品質の非検閲モデルが開発される可能性があります。

このビデオでは、新しくリリースされたノーカット版WizardLMを探ります。今、強力なWizardLMが完全にノーカット化されました。Oobabooga text generation webuiを使用して、wizardLM 7Bをローカルに探索します。

LINKSです：
Huggingface: https://huggingface.co/ehartford/Wiza...
Huggingface Model: https://huggingface.co/TheBloke/Wizar...
オリジナルWizardLM: https://huggingface.co/TheBloke/wizar...
オーバブーガインストールビデオ

WizardLM But UNCENSORED!!!より

この記事が気に入ったらサポートをしてみませんか？