トランスフォーマーからラージランゲージモデルへの革命　META社研究者によるプレゼンテーション

Aditya Jain APPLIED RESEARCH SCIENTIST Aditya is an applied researcher with 6 years of industry experience. He is proficient in Machine Learning techniques such as regression, boosted trees, neural nets, and more. With a focus on solving social problems, Aditya uses technology to address pressing challenges in our society. He is experienced in translating complex business use-cases into solvable data science problems and has worked on various projects including Time series, Anomaly Detection, Forecasting, and Fairness and Responsible アディティアは6年の業界経験を持つ応用研究者です。回帰、ブースティング・ツリー、ニューラル・ネットなどの機械学習技術を得意とする。社会問題の解決に焦点を当て、社会における差し迫った課題にテクノロジーで取り組んでいる。複雑なビジネスユースケースを解決可能なデータサイエンス問題に変換する経験が豊富で、時系列、異常検知、予測、公平性と責任あるAIなど、さまざまなプロジェクトに携わってきた。

Evolution of LLMs From Transformer to ChatGPT
Aditya, an Applied Research Scientist at Meta, takes the stage to discuss the evolution of LLMs from transformer to chatGPT!

免責事項から始まるプレゼンテーション

1.本プレゼンテーションの内容は個人的な意見を反映したものであり、メタ社やその活動とは一切関係ありません。 2.本プレゼンテーションは、適切な引用と原典への帰属を条件として、共有または拒否することができます。 3.本プレゼンテーションでは、Metaまたはその事業に関するいかなる質問にもお答えすることはできません。

Meta社の研究者が開発者カンファレンスで登壇しました。
彼はプレゼンテーションの最初で彼は上記のような免責事項を説明しました。
彼はは、トランスフォーマーからChatGPTへの進化を通じて、LLMsがどのようにしてより洗練され、多様なタスクに対応可能になったかを概説し、これらのモデルが未来のNLPと人工知能（AI）の研究にどのように影響を与えるかを展望しました。

YouTubeで解説動画を作るつもりで、そこではイノベーションを紹介し、それらがどのように時代と共に変化し、場合によっては滅びていくかを探求すると述べました。

この方法は、「キーデコレーター」※１と「マシンの使い勝手」の2つの側面から探究されます
「言語回避可能なビデオ」すなわち、言葉に頼ることなく視覚情報を通じて内容を伝えることは、視覚的インパクト（VI）を使用して、異なる技術革新が基本的な規格や概念をどのように理解し、適用しているかを示すことで、幅広い視聴者にアプローチしやすくなります。

プログラミングやソフトウェア開発のプロジェクトにおける成功の鍵は、柔軟性、適切な設計、チームワーク、独自性、そして強力なリーダーシップにあります。トランスフォーマーのように、プログラムは環境の変化に対応できる柔軟性を持つ必要があります。「大規模な注文の訓練」は、プログラムが大量のデータや複雑なタスクを効率的に処理できるように、事前の設計とテストの重要性を示しています。プロジェクトの「サイロ化」を避け、チーム間のコミュニケーションと協力が不可欠です。プロジェクトの「魔法のトリック」と「特定のDNA」は、独自の技術や文化が成功の秘訣であり、これを実現するには、プロジェクトリーダーや主要な開発者（「右手」）の役割が中心的です。これらの要素が組み合わさることで、プロジェクトは市場で際立ち、成功を収めることができます。

トランスフォーマーモデルは自然言語処理（NLP）における重要な進歩であり、文脈の理解と分散設定での効率的な訓練という2つの鍵となる能力を提供します。第一に、これらのモデルは文の一部を理解するために他の部分を参照できる高度な文脈把握能力を持っており、細かなニュアンスまで捉えることができます。第二に、トランスフォーマーは分散コンピューティング環境で効率良く動作し、大規模データセット上での訓練を高速化します。自己教師あり学習により、ラベルなしテキストデータから学習を進め、言語の深い理解を実現しています。この技術は、言語の構造を学習し、情報抽出、文章生成、翻訳などの複雑なタスクにおいて顕著な成果を示しています。トランスフォーマーモデルの登場は、NLPの分野における革命的な進歩をもたらし、より自然で人間に近い言語理解と生成が可能になりました。

トランスフォーマーモデル、特にBERT（Bidirectional Encoder Representations from Transformers）の進歩について説明します。BERTは、文脈を深く理解する能力があり、特に「マスクされた」単語の予測に優れています。このモデルの重要な特徴の一つは、事前訓練されたモデルを「ファインチューニング」することで、限られたデータセットでも高い性能を実現できることです。数万例のデータで状態を示すパフォーマンスを生み出すことが可能です。BERTの登場は、テキストデータの「表現」を変革し、自然言語処理の分野において大きな進歩をもたらしました。また、これにより「数ショット学習」や「ゼロショット学習」などの新しい学習手法が可能になり、限られたデータからでも効果的に学習し、適応することができるようになりました。この技術革新は、自然言語処理の可能性を広げ、より少ないデータで高度な理解を達成する道を開きました。

進化のキーポイントには、高度な翻訳能力の実現、シングルショット学習による迅速なタスク適応、大規模データセットからの学習と状態を示すパフォーマンス達成が含まれます。また、技術的挑戦や規制の問題も触れられており、新しい技術の採用や展開におけるコストや法的制約の影響を示唆しています。機械学習モデルの一般化能力の向上により、特定の命令やデータセットに依存しない応用が可能になり、言語タスクの自動化と効率化が進んでいることが示されています。この進歩は、NLP技術の将来の可能性を広げ、多様なシナリオでの使用を促進しています。全体として、このテキストはNLP分野における技術革新とその広範な応用、そしてこれらの技術が直面する挑戦についての概観を提供しています。

プロジェクトは予想に反して成功し、これは設計の一貫性、データセットの多様性、そしてドメイン適応の重要性に起因しています。成功の鍵は、異なるタスクやデータセットに対するモデルの一般化能力を高めることにあります。多様なデータセットを用いることで、直接経験していないタスクに対してもモデルが効果的に機能するようになります。ドメイン適応は、モデルが新しい領域のデータに対して有効に機能するようにするプロセスです。また、技術的進歩はモデルのパフォーマンス向上に寄与し、特にモデルサイズの増加や新技術の導入が、迅速な適応と一般化能力の向上を促しています。最終的に、プロジェクトはモデルが人間の評価と密接に一致し、効果的に対話できるよう進化し続けています。この進歩は、機械学習プロジェクトの設計と適用における一貫性、多様性、および適応の統合された重要性を強調しています。

※１Key decoder
デコレータはPythonのデザインパターンの1つで、既存のオブジェクトの構造を変更することなく、新しい機能を追加することができます。

※１
LLMとは何か？(Large Langage Model)
大規模言語モデル（LLM）とは、人工知能（AI）プログラムの一種で、テキストを認識したり生成したりすることができる。LLMは膨大なデータセットで学習されるため、"ラージ "という名前がついている。LLMは機械学習に基づいて構築されており、具体的にはトランスフォーマーモデルと呼ばれるニューラルネットワークの一種である。
※２
NLP(Natural Langage Proccecing)って
計算言語学（人間の言語をルールに基づいてモデル化すること）と、統計学、機械学習、ディープラーニングのモデルを組み合わせたものである。

※３
トランスフォーマーって？
機械がこれまで以上に正確に人間の言葉を理解し、解釈し、生成することを可能にする。膨大な文書を要約し、あらゆるユースケースに対応した、首尾一貫した文脈に関連したテキストを生成することができる。