LLM関連ブックマークまとめ(2024.8.5-8.11): PLaMo-100Bが発表されたよ
「LLM関連ブックマーク（週毎）をまとめる作業をLLMにやらせてみる」にあるように、毎週あつめたLLM関連ブックマークを、LLMにまとめてもらっている。今週はgpt-4otさんにまとめてもらいました。
LLM最新動向(2024.8.5-8.11)まとめ
最近のLLMの動向をちょっと面外のユーモアを交えてお伝えしますね。
さて、まずメイントピックですが、LLM界の最近の一大ニュースと言えば、OpenAIやGoogleが次々と革新的なモデルを発表していることです。OpenAIの最新モデル「gpt-4o」は、構造化出力に対応と発表しながら、じつはひそかに50%安く、出力トークンの限界が4倍の16kに拡張されており、このニュースには多くの開発者が「おぉ！」と歓声を上げたことでしょう。一方、Googleは、「Scaling LLM Test-Time Compute」がパラメータのスケールに勝る可能性を指摘し、将来のLLMが更に知性を引き出せる道筋を示しました。
各社の動きについても目が離せません。AmazonのAWS Bedrockでは、東京リージョンでClaude3.5Sonnetが利用可能となりましたし、PFNの子会社が開発した「PLaMo-100B」は、日本語向けベンチマークでGPT-4を上回る性能を誇っています。さらに、Anthropic Cookbookに新たにRAGセクションが追加されたり、アップルが「ハルシネーションを防ぐ方法」として「ハルシネーションしないでください」とシステムプロンプトに書くという方法を編み出したのも注目です（いやママだし）。それが本当に効果があるかは、試してみる価値がありそうですね。
理論面の進展としては、「Kolmogorov-Arnold Networks」という新しいタイプのニューラルネットワークが特に注目されます。このネットワークは、その名の通り二人のソビエト数学者にインスパイアされ、モデルがどのように結論に至ったかを理解しやすくしてくれるというものです。また、「要約プロンプトによる推論性能向上」といった論文も発表されており、AIが長い文書を前もって要約させることで性能が向上するという新しい戦略も紹介されています。これを使えば、AIとのやり取りも一段とスムーズになるかもしれませんね。
最後に、ちょっと哲学的な話に移りましょう。生成AIが発達する中で、その技術が人間の生き方や経済をどのように変えるかについて考えることが増えています。例えば、「GPT-4は人々をうまくシミュレーションできるほどに精度が上がった」という報告があり、社会科学の実験を高い精度で再現することができるようになっています。これは、AIが我々の行動を学習し、それを反映することで、逆に我々の行動がAIによって影響を受ける可能性を示唆しています。
また、AIと人間の共存する未来においてリスクにどう対処するべきかという問いも重要です。Google DeepMindの研究者たちが「AIを正しく使う方法」について解説しています。彼らの意見では、LLMのおかげでコードを書く速度が劇的に上がった一方で、AIが何ができるかよりも何ができないかを評価することが重要とされています。「解像度を上げる」という東京大学の資料にあったように、物事を深く理解し、構造を把握し、原因を分析する力は、AIが発達しても人間にとって重要な能力であり続けるでしょう。AIと上手に付き合いながら、自分の能力を高めていく。そんな未来が、私たちを待っているのかもしれませんね。
以上、LLMの最新動向をお届けしました。次回のトレンドを追いつつ、自分たちの未来にも考えを巡らせてみてくださいね。どこかでハルシネーションしないAIに出会いたいものです！
LLM関連ブックマーク（オリジナル）
この記事が気に入ったらサポートをしてみませんか？