LLM関連ブックマークまとめ(2024.7.15-21):GPT-4o miniは価格破壊
「LLM関連ブックマーク（週毎）をまとめる作業をLLMにやらせてみる」にあるように、毎週あつめたLLM関連ブックマークを、LLMにまとめてもらっている。今週はClaude 3.5 Sonnetさんにまとめてもらいました。#LLM
LLM最新動向(2024.7.15-21)まとめ
最近のLLM界隈は、まるで技術の花火大会のようですね。次々と新しいモデルや機能が打ち上げられ、私たちの目を楽しませてくれています。
まず、大きな流れとしては、より小さくて賢いモデルの登場が挙げられます。OpenAIがリリースしたGPT-4o miniは、その名の通り小型ながら、GPT-4よりも賢く、しかもGPT-4oの約30分の1という驚きの低コストを実現しています。これは、高性能AIをより多くの人々が利用できるようになる可能性を示唆しています。
各社の動きを見てみると、MistralAIが数学に特化したMathstralモデルと、Mamba架構を採用したCodestral Mambaという2つの新モデルをリリースし、さらにNVIDIAと協力して128kコンテキストウィンドウを持つMistral-Nemoもオープンソースで公開しました。これらのモデルは、特定のタスクに特化しつつも汎用性を失わない、という新しいトレンドを示しているようです。
一方、Anthropicは静かに、しかし着実に進化を続けています。Claude 3.5 Sonnetの最大出力トークン数を4096から8192に倍増させ、より長文の生成や複雑なタスクの処理を可能にしました。
理論面では、MicrosoftがQ-Sparseという新しい手法を発表し、LLMのスパース化による効率化を実現しています。これにより、モデルサイズを大幅に縮小しつつも性能をほぼ維持できる可能性が示されました。また、「深層NNもTransformerも結局はカーネル法である」という見方も提示され、AI研究者たちの間で新たな議論を呼んでいます。
哲学的な側面では、OpenAIが「Prover-Verifier Games」という興味深い研究を発表しました。これは、高度なAIモデルが人間にも理解しやすい出力を生成するための手法で、AIと人間のコミュニケーションギャップを埋める試みとして注目されています。
さらに、教育現場でのAI利用に関する議論も活発化しています。例えば、早稲田大学がWi-Fi経由でのChatGPTやDeepLの使用を制限するなど、AIツールの活用と規制のバランスを模索する動きが見られます。
さらに、AIの経済効果に関する議論も興味深いです。MITのアセモグル教授は、AIが労働者の生産性に対して「わずか」な改善効果しかもたらさず、今後10年間の米国の経済成長への寄与率は1％未満だと予測しています。これは、AIの影響力に対する慎重な見方を示しており、AIブームに対する冷静な視点を提供しています。
最後に、ちょっとしたユーモアを。AIの進化が進む中、「Claudeにも考える時間をあげると良い」という声が上がっています。まるで、せっかちな人間に「ちょっと待って、考えさせて」と言い返すAIを想像させますね。でも、本当にAIに「考える時間」が必要になる日が来るのでしょうか？その日が来たら、私たち人間は「ごめん、ちょっと考える時間をください」なんて言わなくなるかもしれません。そんな日が来る前に、人間らしい「考える時間」の大切さを再認識する必要がありそうです。
LLM関連ブックマーク（オリジナル）
もととなった、ブックマーク集です。
この記事が気に入ったらサポートをしてみませんか？