生成AIに関するニュースまとめ（2023w25）
※この記事は、AI Powered Businessが法人向けに有料で提供しているNewsletterの2023 week25の記事です。皆様のキャッチアップにお役に立てれば幸いです。
LLMの小型化、省力化、ポータブル化
これまでのLLMは計算量、データセットサイズ、パラメーターサイズに比例して精度が高くなる、つまりこれらのサイズが大きければ大きいほど良いというパラダイムが支配的でした。
上の図は 計算量(Compute)、学習データ料(Dataset Size)、パラメーター数(Parameters) が大きくなればなるほど、間違いの率が低下している、つまりモデルの性能が高くなることを表します。
小さくても高精度なモデル phi-1
Microsoft Researchの研究チームが発表したphi-1はわずか13億パラメーターにも拘らず、HumanEvalにおいて1,750億パラメーターのGPT-3.5を上回るスコアを収めました。phi-1は近日中にも Hugging Face で公開される予定です。
💬 Comment
HumanEvalとは、LLMのパフォーマンスを評価するための一つの方法です。この手法は、人間の回答に対してLLMがどれくらい近い回答ができたかでLLMの性能を評価します。評価は解答能力を中心に行われ、問題はプログラミング、数学、論理的思考、一般的な知識など幅広い領域から選ばれます。
モデルを加速させるドライバー vLLM
vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
vLLMは、既存のライブリのTransformers (HF)に対して最大で24倍、Text Generation Interface (TGI) に対して最大3.5倍の処理能力を達成しました。
従来型のLLM実行ライブラリではマシンのメモリがLLMのパフォーマンスを下げるボトルネックになっていることに着目したUCバークレーの研究チームは、メモリをより効率的に扱うことのできる実行ライブラリvLLMを開発しました。
研究者らの調査によると、既存のライブラリでは断片化と過剰予約によってメモリの60% ～ 80%が無駄になっていました。そこで研究者らは、コンピュータサイエンスに古くから存在する仮想メモリとページングの技術をLLMに応用したPagedAttendationというアルゴリズムを開発し、メモリ効率を大幅に向上させたライブラリを開発することに成功しました。
💬 Comment
vLLMは未だアカデミックレベルというわけではなく、既に公開されているLLM関連サービスの運用コストを削減することに貢献しており、実用レベルになっています。LMSYS Org. の Chatbot Areana ではGPUの数を50%削減することに成功しました。
あらゆるものにLLMが組み込まれる時代
Qualcomm CEO on the AI Evolution
Qualcommののクリスティアーノ・アモンCEOは22日、スマートフォンで生成系AIモデルを実行可能にする高性能半導体の開発に同社が取り組んでいると明らかにしました。
スマートフォン上でLLMが動作するということはサーバーとのやりとりが不要になるためより、デバイス上で高速に処理することが可能になるほか、セキュリティやプライバシー上の問題で取り扱いが難しいデータ (例えば生体データ) も、LLMのパワーを利用することができるようになります。
💬 Comment
産業用IoT機器の普及には、小型かつ暗号化計算能力の高いチップが安価に提供される必要があり、それには長い時間が必要とされると思われていました。しかしApple Watch等のスマートウォッチが爆発的に普及したおかげで、そのような暗号化アクセラレーター付きチップセットが大量生産され、安価に大量に仕入れられるようになり、産業用IoT機器は一気に普及しました。
今回もスマートフォンのような一般消費者向け製品がヒットすることで、LLMの計算アクセラレーターの研究開発が進み、専用チップが大量生産されることで産業エンタープライズの領域に一気に浸透する展開が予想されます。生産ラインのエッジコンピュータで動くLLMくらいは来年には実用化されるかもしれません。
LLM活用「具体的な活用イメージ湧かず」が37.8％
….
続きはこちらのメディアに記載しています。
AI Powered Businessでは、生成AI × 海外スタートアップの最新事例を紹介したり、技術的なトレンドや市場の動向に関する最新情報を発信しています。
皆様の情報収集に役立てば幸いです。
お問い合わせはプロフィールのリンク先からどうぞ。
この記事が気に入ったらサポートをしてみませんか？