ChatGPT-4を理解して学習に活用する新たな方法とは？（石黒教授のDLはまだ

本日GPT-4.0がリリースされました。以下Open AI リリース内容
ディープ ラーニングのスケールアップにおける OpenAI の取り組みにおける最新のマイルストーンである GPT-4 を作成しました。GPT-4 は大規模なマルチモーダル モデル (画像とテキストの入力を受け入れ、テキスト出力を発行する) であり、多くの現実世界のシナリオでは人間よりも能力が劣りますが、さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示します。たとえば、模擬司法試験に受験者の上位 10% 程度のスコアで合格します。対照的に、GPT-3.5 のスコアは下位 10% 前後でした。 敵対的テスト プログラムと ChatGPT からの教訓を使用して、GPT-4 の調整を 6 か月繰り返し行った結果、事実性、操縦可能性、およびガードレールの外に出ることを拒否することに関して、これまでで最高の結果が得られました (完全にはほど遠いですが)。
過去 2 年間で、ディープ ラーニング スタック全体を再構築し、Azure と協力して、ワークロード用にゼロからスーパーコンピューターを共同設計しました。1 年前、システムの最初の「テスト実行」として GPT-3.5 をトレーニングしました。いくつかのバグを見つけて修正し、理論的基盤を改善しました。その結果、GPT-4 トレーニングの実行は (少なくとも私たちにとっては!) 前例のないほど安定しており、トレーニング パフォーマンスを事前に正確に予測できる最初の大規模モデルになりました。信頼性の高いスケーリングに引き続き注力する中で、将来の機能をますます事前に予測して準備できるように方法論を磨くことを目指しています。
ChatGPT と API を介して GPT-4 のテキスト入力機能をリリースしています (待機リストあり)。画像入力機能をより広く利用できるように準備するために、1 つのパートナーと緊密に協力して開始します。また、AI モデルのパフォーマンスを自動評価するためのフレームワークであるOpenAI Evalsをオープンソース化しており、誰でもモデルの欠点を報告してさらなる改善に役立てることができます。

機能

①手書きの落書きからコードをつくり実装する
②画像を認識して文章を書く
③複雑な計算もできるようになる
④文章の能力の向上
⑤プログラムアシスタントに

カジュアルな会話では、GPT-3.5 と GPT-4 の違いは微妙です。タスクの複雑さが十分なしきい値に達すると、違いが現れます。GPT-4 は、GPT-3.5 よりも信頼性が高く、創造的であり、はるかに微妙な指示を処理できます。
2 つのモデルの違いを理解するために、もともと人間向けに設計された試験のシミュレーションなど、さまざまなベンチマークでテストを行いました。私たちは、公開されている最新のテスト (オリンピアードと AP の自由回答問題の場合) を使用するか、2022 年から 2023 年版の模擬試験を購入して進めました。これらの試験のための特別なトレーニングは行いませんでした。試験の問題のごく一部は、トレーニング中にモデルによって確認されましたが、結果は代表的なものであると考えています。詳細については、テクニカル レポートを参照してください。

内部参照1
AP Calculus BCAMC 12Codeforces RatingAP English LiteratureAMC 10Uniform Bar ExamAP English LanguageAP ChemistryGRE QuantitativeAP Physics 2USABO Semifinal 2020AP MacroeconomicsAP StatisticsLSATGRE WritingAP MicroeconomicsAP BiologyGRE VerbalAP World HistorySAT MathAP US HistoryAP US GovernmentAP PsychologyAP Art HistorySAT EBRWAP Environmental ScienceExam0%20%40%60%80%100%Estimated percentile lower bound (among test takers)Exam results (ordered by GPT-3.5 performance)gpt-4gpt-4 (no vision)gpt3.5

ChatGPTの学習方法
①教師あり学習
②報酬モデルの学習
③強化学習
以上の3つが学習アルゴリズムのコアになっている。この言語的3要素のアルゴでの学習的進化はラテン語をもとにした英語での活用の進化のほうが発展しやすく。日本の場合は英語から日本語に翻訳する際のエラーが出やすいために、大規模な日本独自の開発が必要になり、かなりの投資が必要になってくる。　またGPT4.0によりさらに、アレクサやシリの英語での精度が向上するため日本語で海外のAIを活用する意味がますます格差が出てくることになり海外と比べ費用対効果は劣化するだろう。我々の試算では５年以内に政府がこの分野に総額2.24兆円投資開発することで、〇年後に何とか間に合う可能性があります。（ただこの数倍から数十倍は欧米や中国政府は投資をはじぇめている）

個人的には日本はこの分野をあきらめて、次世代核融合開発や量子ICTなどに３年以内にフルベットするほうが、スタフグ対策になると思います。
いまだにFAXで仕事をしている日本はDXが全然進んでいない。まずはペーパレス社会が当たり前にならない限り、安易な人件費削減のツールに悪用されかねない。とりあえず日本語で、現在の4.0をapiで活用するだけでは、事実誤認した情報が氾濫して、凶悪事件やモラルハザードが増えてくる可能性は高い。また信仰宗教団体がこれらAIを活用してサブリミナルなど仕掛けてくる可能性もあるので、先のZOOM会議での7つのポイントをしっかりと学習して最悪の事態に備える必要がある。　

個人事業主から見ると大きなチャンスに

フリーランスや個人事業主からすると今後の未来は大きなチャンすといえる。特に英語、フランス語、中国語などができるなら収入は数倍になるでしょう。それでは具体的に英語ができる個人事業主がどのようにビジネスモデルを構築すれば、Linckedin