LLM関連ブックマークまとめ(2024.8.26-9.1): GPT-5に向けた動き有、Tanuki-8×8Bもすごいぞ
「LLM関連ブックマーク（週毎）をまとめる作業をLLMにやらせてみる」にあるように、毎週あつめたLLM関連ブックマークを、LLMにまとめてもらっている。今週はGemini Pro 1.5 Experiment 0801さんとgpt-4oさんにまとめてもらいました。
いや、OpenAIのStrawberry(GPT-5か）がついに、米国AI安全性インスティテュートとの共同テスト・評価の遡上に、Orion（コード名）が秋に一般リリースされるのか。Geminiはやっぱり頑張っているし、松尾研もTanukiリリース、関連する技術記事だけで本が書けそうな情報量だ。
LLM最新動向(2024.8.26-9.1)まとめ
生成AIの世界は、今まさに日進月歩で進化を続けています。膨大な情報が飛び交う中で、一体どこへ向かっているのか、少し不安になる方もいるかもしれませんね。今回は、ブックマークに基づいて、LLMの最新動向を少し俯瞰的に見てみましょう。
まず、Google、Meta、OpenAIといったビッグテック企業によるLLM開発競争は激化の一途を辿っています。GoogleはGeminiシリーズのアップデートを重ね、特にGemini 1.5 Flashは処理速度とコストのバランスの良さで話題となっています。MicrosoftはAutoGen Studioという低コードのAIエージェント開発ツールを公開しました。OpenAIは、Strawberry(GPT-5と呼ばれているもの)をNISTのAI Safety Instituteと一緒に安全性のテスト・評価をすると発表、Strawberryの出力を学習データに使ったOrionと呼ばれる一般向けの（gpt-4の後継）LLMの開発を進めているとの噂もあり、今後の動向から目が離せません。まるで各社がそれぞれの切り札を隠し持っているような、そんな緊張感を感じますね。
これらの企業の競争を背景に、LLMの理論的な側面にも大きな進展が見られます。例えば、「Hydra」や「Mamba」といった、系列方向に行列を用いて情報交換を行う新しいアーキテクチャが提案されています。これらは、従来のAttention機構よりも効率的な計算を可能にする可能性を秘めており、LLMの処理速度向上に貢献するかもしれません。TransformerベースのモデルをManbaに変換する手法や、Tree Attentionってのもよさそうです。まるでLLMのエンジンをさらにパワフルにするための、新しい燃料が開発されているようなイメージですね。
さらに、LLMの「解釈性」と「制御」に関する研究も活発に進められています。Google DeepMindが発表した、LLMの出力を生成モデルで検証する手法は、LLMの思考過程をより深く理解するための重要な一歩と言えるでしょう。また、「Introduction to Mechanistic Interpretability」といった記事に見られるように、LLMの内部メカニズムを解明しようとする試みも注目を集めています。まるでLLMというブラックボックスの中身を、少しずつ明らかにしていくような、そんな地道な努力が続けられています。
日本でもLLMの研究と実用化が活発に進行しています。特に注目されるのは、東京大学の松尾・岩澤研究室による「Tanuki-8×8B」の開発プロジェクトです。このプロジェクトでは、合成データを積極的に利用し、日本語対応の大規模言語モデルの性能を最大限に引き出す試みがされています。また、ChatBot Arena風のシステムを用いた実践的な評価も行われており、LLMの現実世界での応用可能性が探られています。
さらに、谷中瞳氏の新しい教科書『ことばの意味を計算するしくみ』は、日本の自然言語処理（NLP）や計算言語学の基礎を理解するための重要なリソースとなっており、学術的な面からもLLMの発展を支えています。これらの研究やリソースは、日本におけるLLMの進化を促進し、国内外での応用可能性を広げていく助けとなるでしょう。
そして、忘れてはならないのが、LLMが社会や人間に与える影響についての考察です。LLMによって私たちの仕事はどう変わるのか、経済はどうなるのか、そして、AIと人間はどのように共存していくべきなのか。これらの問いは、技術的な進歩と同時に、ますます重要性を増しています。まるで新しい航路を見つけ出した船のように、私たちはLLMという未知の海を、慎重に進まなければならないのです。
例えば、「データサイエンティスト募集のお知らせ | 埼玉西武ライオンズ」に見られるように、スポーツ業界でもデータ分析の重要性が高まっています。LLMは、このような分野でも大きな役割を果たす可能性を秘めています。また、「AIデータセンター急増で電力需要は“激減”か」という記事が示すように、LLMの利用に伴うエネルギー消費の問題も無視できません。私たちは、LLMのメリットを享受する一方で、その負の側面にも目を向け、適切な対策を講じる必要があります。
最後に、哲学的な視点からもLLMについて考えてみましょう。「What Machine Learning Tells Us About the Mathematical Structure of Concepts」という論文は、機械学習と概念の構造についての考察を深めるものであり、LLMが私たちの思考や知識体系にどのような影響を与えるのかを理解する上で重要な示唆を与えてくれるでしょう。まるでLLMを通して、人間の知性そのものを問い直すような、そんな深遠なテーマにも私たちは向き合っていく必要があるのです。
LLMの進化は、私たちに多くの可能性と課題を突きつけています。技術的な進歩を楽しみながら、その影響を冷静に分析し、AIと人間が共存できる未来を創造していくことが、私たちに課せられた使命と言えるでしょう。
LLM関連ブックマーク（オリジナル）
もととなった、ブックマーク集です。
この記事が気に入ったらサポートをしてみませんか？