見出し画像

AI漫遊記: AI Index Report 2024 第1章 - 研究開発

納村 聡仁 / Osamura Akinori

「AI漫遊記」とは、AIに関するトピックを、寄り道しながら気の向くままに探求し記録したものです。


先日、2023年までのAIに関する膨大なデータを分析した「AI Index Report 2024」が、スタンフォード大学により公開されました。
2017年から毎年公開され、7年目になります。


今回のシリーズでは、このレポートを2024年の情報を追加しながら気になった分野を深っていこうと思います。


シリーズ一覧

第0章 - 10の主要ポイント
第1章 - 研究開発
第2章 - 技術的パフォーマンス
第3章 - 責任あるAI
第4章 - 経済
第5章 - 科学と医学
第6章 - 教育
第7章 - 政策とガバナンス
第8章 - 多様性
第9章 - 世論


研究開発

1.産業界がAI研究の最前線を支配し続けている

2023年、産業界は51の注目すべき機械学習モデルを生み出したが、アカデミアの貢献は15にとどまった。また、2023年の産学共同研究による注目すべきモデルは21で、過去最高を記録した。

セクター別の注目すべき機械学習モデルの数、2003-2023年



2.より多くの基盤モデルと、よりオープンな基盤モデル

2023年には、2022年の2倍以上となる合計149の基盤モデルがリリースされた。これらの新しくリリースされたモデルのうち、65.7％がオープンソースであったのに対し、2022年は44.4％、2021年は33.3％に過ぎなかった。

タイプ別の基盤モデル、2019-2023年


24年3月までの基盤モデル

参照: https://assets.publishing.service.gov.uk/media/661e5a4c7469198185bd3d62/AI_Foundation_Models_technical_update_report.pdf

2024年も含んだ基盤モデルリスト(更新中)


最近の基盤モデル

Snowflake

独自の生成AIモデル「Arctic LLM」をリリース
- 480B、17Bのアクティブパラメータ
- Apache-2.0
- 企業向けに最適化され、データベースコードの生成などが可能
- MoEアーキテクチャを採用

ちなみに、Snowflakeは、

Mistral AIとパートナーシップを締結したり

SQL用のLLMコーディング アシスタントのSnowflake Copilotを出したりもしている


Microsoft

高性能かつデバイス上で動くことを志向したLLM「Phi-3」を発表


Meta

言語モデルLlama-3を発表

Llama3のメインバージョンは夏にリリース予定

https://www.theinformation.com/articles/meta-platforms-to-launch-small-versions-of-llama-3-next-week?rc=5htos4


Mistral

Mixtral-8x22B-v0.1とMixtral-8x22B-Instruct-v0.1をリリース
- Apache 2.0ライセンス


Stability AI

Stability AI Developer Platform API で Stable Diffusion 3 および Stable Diffusion 3 Turbo が利用可能に


Microsoft Research

画像と音声で会話ビデオを作成するVASA-1を発表
- 正確なリップオーディオ同期、リアルな顔の動き、自然な頭の動きをリアルタイムで生成


日本におけるモデル開発状況

Preferred Networks

(23年10月)
プリファードが産業向けAI基盤モデルに注力、1000億パラメータのLLMを2024年商用化を目指す

(24年2月)
Preferred Elements、NEDOの採択を受け、1000億パラメータのマルチモーダル基盤モデルの開発と、1兆パラメータの大規模言語モデルの事前学習の検証を開始


Abeja

(24年2月)
ABEJA、NEDOが公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に、LLM開発事業案が採択

RAGによる精度の向上およびAgentの最適化が、計算コストパフォーマンスを向上させ、経済的合理性や適用範囲の拡張性をもたらし、LLMの社会実装を強力に推進すると考えております


PKSHA Technology

(24年3月)
PKSHA、日本マイクロソフト支援のもと新たな大規模言語モデルを開発

即時コミュニケーションに強みをもち従来の3倍の速度で回答生成、コンタクトセンターや社内ヘルプデスクへ活用ー4月以降段階的に現場展開


楽天

(24年3月)
楽天、日本語に最適化したオープンかつ高性能なLLMを公開

日本語に最適化した高性能の大規模言語モデルの基盤モデル「Rakuten AI 7B」と、同モデルを基にしたインストラクションチューニング済モデル「Rakuten AI 7B Instruct」、インストラクションチューニング済モデルを基にファインチューニングを行ったチャットモデル「Rakuten AI 7B Chat」をオープンなモデルとして公開


NTTグループ

(24年3月)
軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi」を開発

「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。
「tsuzumi」を用いた商用サービスを2024年3月に開始

2027年までに年間1000億円の売上高を目指す。


NEC

(24年1月)パートナーとの連携によってcotomiを利用したビジネスを拡大。今後3年間で約500億円の売上げを目指す。

(24年4月)
ＮＥＣ、高速タイプの生成ＡＩ開発　６月から販売

応答時間が短く高い推論性能を持つ「ｃｏｔｏｍｉ　Ｐｒｏ（コトミプロ）」「ｃｏｔｏｍｉ　Ｌｉｇｈｔ（コトミライト）」を開発したと発表


ソフトバンク

(23年10月)
国内最大級の生成AI開発向け計算基盤の稼働および国産大規模言語モデル（LLM）の開発を本格開始
～2024年内に3,500億パラメーターの国産LLMを構築～

(24年3月)
日本マイクロソフトとの共同開発により、生成AIでコールセンター業務の自動化を加速～お客さまの待ち時間の短縮と対応の均質化により、顧客満足度向上を目指す

(24年4月)
生成ＡＩ開発に2025年までに1500億円投資　計算能力を国内最大級に
「パラメーター」の数は国内最大級の3900億になるという



3.モデル学習はかなり高価に

AI Indexの試算によると、最先端のAIモデルの学習コストはかつてない水準に達している。例えば、OpenAIのGPT-4は学習に推定7800万ドル相当の計算機を使用し、GoogleのGemini Ultraは計算機に1億9100万ドルかかった。

一部のAIモデルの推定学習費用、2017-2023年


東工大の岡崎先生とELYZAの垣内さんより

安い計算リソースが前提で、
>Llama 2をベースとして作るんだとしたら、大規模なものだと、それでも数千万円ぐらいはかかるのかな
>うちのSwallowもおそらく数千万円くらいの費用なんだと思います


AI開発への投資状況

Apple

Appleのティム・クックCEOは、に「大きく投資している」と述べ、今年後半に大きな発表を行うことを予告


Meta

Metaは今年、主にAIに約400億ドル投資予定
今後数年間でAIが「巨大なビジネス」になる3つの可能性
1. AIエージェントによるビジネスメッセージング
2. AI対話に広告や有料コンテンツ導入
3. AIへのアクセス販売

Meta、GPT-4と同程度の性能を目指すモデルの学習を計画

- AIトレーニングチップを買い集め、データセンターを構築
- 2024年の早い時期に新しい大規模言語モデルの学習を開始する予定


Google

ディープマインドCEOが、GoogleはAI開発に1000億ドル以上を費やすだろうと述べた

Google、AI企業Anthropicにさらに20億ドル投資へ
- 23年に行ったAnthropicへの5億5000万ドルの投資に追加となる


Amazon

Amazon、OpenAIの競合Anthropicに27.5億ドルを追加投資
- 9月にも12.5億ドルの資金調達ラウンドを主導


Microsoft

Microsoft、Inflection AIとライセンス契約
- 約6億5000万ドルを支払ってAIモデルを利用するライセンス契約を結ぶ
- 同社の共同創業者らを含む大半のスタッフを採用することで合意

Mistral AIに1600万ドルの投資


各社の日本への投資状況

Google

Google、日本へ接続する海底ケーブルに1500億円投資


Amazon

2023〜27年の5年で日本に約2.3兆円を投資すると発表した。クラウドの基幹設備であるデータセンターの増設や運営体制強化に充てる。


日本オラクル

クラウドとAIの領域に対し、今後10年間で80億ドル（約1.2兆円）以上を投じる


Microsoft

日本にAIデータセンター　4400億円投資



4.米国は中国、EU、英国をリードし、トップAIモデルの主要な供給源となっている

2023年には、61の注目すべきAIモデルが米国を拠点とする機関から生まれ、EUの21、中国の15を大きく上回る。

エリア別の注目すべき機械学習モデルの数、2023 年


中国のAI状況

(24年1月)
中国のＡＩモデル認可制、導入後6カ月で40以上承認


(24年4月)
広州市海珠区、基盤モデル応用実証エリアを建設へ―中国

今年3月には「広州市海珠区による基盤モデル応用実証センターの建設支援の実施案」が正式に通達・実施された。
同案は、海珠区による中国をリードする基盤モデル応用実証エリアの建設を全力的に推進し、2026年までに基盤モデルの8以上の業界での深い応用を推進し、典型応用シーンを30以上拡大し、代表的な企業を50社選び、5000以上のアルゴリズムを備え、実証エリアの主な事業収入を5000億元（約10兆円）以上にけん引することを目指す。


Alibaba

(23年12月)
中国アリババがチャットAI「Qwen-72B」とローカルで音声入力に対応する「Qwen-Audio」をオープンソースで公開


Baidu

(24年4月)
AIチャットボット「Ernie Bot」が2億人のユーザーを獲得したと発表https://www.reuters.com/technology/baidu-says-ai-chatbot-ernie-bot-has-amassed-200-million-users-2024-04-16/


Bytedance

動画生成のMagicVideo-V2や画像生成のSDXL-Lightning


Tencent

(23年9月)
大規模言語モデル「Hunyuan」を公開--中国国内向け
-事前学習データに1000億を超えるパラメーターと2兆を超えるトークンを保持


SenseTime

SenseTimeがSenseNova 4.0を発表
大規模言語モデル(LLM)一般バージョンSenseChat V4はGPT-4と拮抗し、総合的なパフォーマンスではGPT-3.5を上回る



5.AI特許が急増

2021年から2022年にかけて、世界におけるAI特許の付与件数は62.7%増と急増した。2010年以来、付与されたAI特許の数は31倍以上に増加している。

AI特許取得数、2010-2022年


6.中国がAI特許を独占

2022年、中国が61.1%で世界のAI特許をリードし、AI特許の20.9%を占めた米国を大きく引き離した。2010年以降、AI特許に占める米国の割合は54.1%から減少している。

AI特許の地域別出願状況、2010-2022年


7.オープンソースのAI研究が爆発的に増加

2011年以降、GitHubのAI関連プロジェクト数は一貫して増加しており、2011年には845だったものが、2023年には約180万にまで増加している。特筆すべきは、GitHubのAIプロジェクト総数が2023年だけで59.3%急増したことだ。GitHubのAI関連プロジェクトの星の総数も2023年に大幅に増加し、2022年の400万から3倍以上の1,220万になった。

GitHubのAIプロジェクト数、2011-2023年


8.AIの出版数は増え続けている

2010年から2022年の間に、AI出版物の総数は3倍近くに増加し、2010年の約88,000件から2022年には240,000件以上に増加する。昨年1年間の増加率は1.1％と小幅であった。

世界のAI出版物の数、2010-2022年


いいなと思ったら応援しよう！