LLM関連ブックマークまとめ(2024.9.2-9.9): 「Reflection 70B」の衝撃、新手のMatryoshka Representation Learning
「LLM関連ブックマーク（週毎）をまとめる作業をLLMにやらせてみる」にあるように、毎週あつめたLLM関連ブックマークを、LLMにまとめてもらっている。今週はGemini Pro 1.5 Experiment 0827さんにまとめてもらいました。
いや、OpenAIのStrawberry(GPT-5か）は月額2,000ドルのサブスクリプション？「Reflection 70B」といのが突然出てきて、その性能に騒然、検証が待たれる。Matryoshka Representation Learningというのも新手だ。
絵は、中二病のようにふるまう、LLMをFLUX.1に描いてもらった。
LLM最新動向(2024.9.2-9.8)まとめ
生成AIの進化が目覚ましい今日この頃、新しい技術やモデルが登場する度に「もうついていけない…」と感じている人もいるのではないでしょうか？でも大丈夫！落ち着いて深呼吸をして、一緒に最近の動向をざっくり見ていきましょう。
まず、メイントピックとしては、生成AIは単なるテキスト生成ツールから、より複雑なタスクをこなせる、より人間に近い存在へと進化を続けています。それを象徴するように、各社からは高性能なモデルやそれを活用したサービスが続々と発表されています。
各社の動きとしては、OpenAIはGPT-4の後継モデル「GPT Next」や、さらにその先の「Strawberry」「Orion」といったモデルの開発を進めており、その性能はGPT-4から100倍も向上する可能性があるとのこと！ただ、その驚異的な性能と引き換えに、月額最大2,000ドル（約29万円）という高額なサブスクリプションプランも検討されているようで、庶民にはちょっと手が届かない未来も見え隠れしています…。
一方、Metaは混合現実AIグラスの開発を進めており、現実世界と仮想世界を融合させる未来を描いているようです。また、GlaiveAIからは世界最強のOSSモデル「Reflection 70B」が発表されました。なんと、このモデルは自分の誤りを自己修復する機能まで備えているとのこと！まるで人間みたいですね…ちょっと怖いかも？
さらに、NVIDIAはAI半導体供給を支援するため、日本のスタートアップ企業であるサカナAIの大株主になりました。Intelも高性能なCPU「Core Ultraシリーズ2」を発表し、CPUで画像生成が可能になる時代が到来しました。まさに、生成AIはハードウェアレベルでも進化を遂げているのです。
理論面の進展としては、LLMの学習不安定性に関する研究や、Matryoshka Representation Learningといった新しい学習手法が登場し、モデルの性能向上と効率化が進んでいます。また、MoE（Mixture-of-Experts）の学習における課題を解決する新たな手法も提案されています。これらの研究成果によって、より高性能で効率的なLLMの開発が期待されます。
さらに、生成AIの仕組みの解明も進んでいます。AI研究の第一人者であるカルパシー氏は、LLMが人並みの能力を得るために必要な認知コアは、10億パラメータ以下で実現可能だと考えているそうです。これは、現在の巨大なLLMよりもはるかに小さなモデルで高度な認知能力を実現できる可能性を示唆しており、今後の研究に大きな影響を与えるでしょう。
哲学的あるいは人文的な話題としては、生成AIの発展が人間の生き方や社会構造にどのような影響を与えるのかという議論が活発化しています。例えば、Minecraftの中ではAIエージェントが独自の文明を築き始め、まるで人間社会の縮図を見ているようです。また、贈与の相互作用によって様々な社会構造が組織されうるという研究成果も発表され、人間の社会構造とAIの関係に新たな視点を与えています。
さらに、生成AIによって人間の仕事が奪われるのではないかという懸念も広がっています。内閣府の資料「AIで変わる労働市場」では、今後どの職業がなくなり、新たにどんな職業や職能が求められるようになるのかが詳細にまとめられています。AI時代に生き残るためには、AIを最大限活用できる能力だけでなく、自ら課題を見つけ、それを解決する力も重要になるでしょう。
生成AIはまだまだ発展途上の技術であり、その可能性は未知数です。しかし、その進化は私たちの生活、社会、そして人間の在り方そのものに大きな影響を与えることは間違いありません。私たちは、生成AIとどのように向き合い、共存していくべきなのか、真剣に考えていく必要があるでしょう。
…と、まあ、こんな感じで最近の生成AIの動向をまとめてみましたが、いかがでしたでしょうか？少しでも生成AIの世界に興味を持っていただけたら嬉しいです。
もちろん、生成AIは複雑な技術なので、今回紹介した内容はほんの一部に過ぎません。もっと深く知りたい！という方は、ぜひ紹介したリンク先などを参考に、ご自身で調べてみてください。
生成AIの進化は、私たちに驚きと興奮、そして時には不安を与えることもあるでしょう。しかし、恐れずにその可能性を探求し、より良い未来を創造していくことが、私たちに求められているのではないでしょうか？
…ちょっと真面目になりすぎちゃいましたね。でも、生成AIは本当に面白い技術なので、ぜひ一緒に楽しんでいきましょう！
LLM関連ブックマーク（オリジナル）
もととなった、ブックマーク集です。
この記事が気に入ったらサポートをしてみませんか？