メモ2023/7/25

kitakitune

Chapter 1: Research and Development
この章では、AI研究開発の動向を研究しています。まず、AI出版物と特許の動向を検討し、次に注目されるAIシステムと基盤モデルの動向を検討します。最後に、AIカンファレンスの出席者数とオープンソースのAIソフトウェアプロジェクトを分析します。

  1. 業界が最先端のAI研究を引き続き主導している。

  • 2023年に業界は51の注目すべき機械学習モデルを生み出したのに対し、学界はわずか15しか貢献していない。

  • 2023年には業界と学界のコラボレーションによる注目すべきモデルが21あり、過去最高となった。

  1. 基盤モデルがさらに増え、オープンな基盤モデルも増えている。

  • 2023年に合計149の基盤モデルがリリースされ、2022年の2倍以上となった。

  • これらの新たにリリースされたモデルのうち、オープンソースは2021年の33.3%、2022年の44.4%から65.7%に増加した。

  1. 最先端のモデルがはるかに高価になっている。

  • AI Indexの推定によると、最先端のAIモデルのトレーニングコストは前例のないレベルに達している。

  • 例えば、OpenAIのGPT-4のトレーニングには推定7,800万ドルの計算コストがかかり、GoogleのGemini Ultraには1億9,100万ドルの計算コストがかかった。

  1. 米国は中国、EU、英国に先んじて、トップAIモデルの供給源となっている。

  • 2023年、注目すべきAIモデルのうち、61がアメリカの機関から生まれたのに対し、EUは21、中国は15だった。

  1. AI特許数が急増している。

  • 2021年から2022年にかけて、世界のAI関連特許件数は62.7%急増した。

  • 2010年以降、付与されたAI特許の数は31倍以上に増加している。

  1. 中国がAI特許を支配している。

  • 2022年、中国はAI特許出願で世界をリードし、61.1%を占めた。アメリカは20.9%で大きく差をつけられている。

  • 2010年以来、アメリカのAI特許シェアは54.1%から減少している。

  1. オープンソースのAI研究が爆発的に増えている。

  • 2011年以降、GitHubのAI関連プロジェクトは一貫して増加し、2011年の845件から2023年の約180万件に増加した。

  • 特に2023年だけでも、GitHubのAIプロジェクトの総数が59.3%急増した。

  • 2023年、GitHubのAI関連プロジェクトの総スター数も大幅に増加し、2022年の400万から1,220万に3倍以上増加した。

  1. AI出版物の数が増え続けている。

  • 2010年から2022年の間に、AI出版物の総数はほぼ3倍に増加し、2010年の約8万8,000件から2022年には24万件以上に増加した。

  • 昨年の増加率は1.1%と控えめだった。

Chapter 2: Technical Performance
今年のAIインデックスの技術性能セクションでは、2023年のAIの進歩について包括的な概要を提供しています。AIの技術的性能の高レベルな概要から始まり、時間の経過に伴うその広範な進化をたどっています。次に、言語処理、コーディング、コンピュータビジョン（画像および動画分析）、推論、音声処理、自律型エージェント、ロボティクス、強化学習など、幅広いAI機能の現状を検証します。また、プロンプト、最適化、ファインチューニングによるLLMの改善方法を探り、AIシステムの環境フットプリントの探求で締めくくるなど、昨年の注目すべきAI研究のブレークスルーにもスポットライトを当てています。

  1. AIは一部のタスクでは人間を上回るが、すべてのタスクではない。

  • 画像分類、視覚的推論、英語理解の一部で人間の性能を上回った

  • より複雑なタスク（競技レベルの数学、視覚的常識推論、プランニングなど）ではまだ人間には及ばない

  1. マルチモーダルAIの登場。

  • 従来のAIシステムは言語か画像のどちらかに特化していたが、GoogleのGeminiやOpenAIのGPT-4などの強力なマルチモーダルモデルが登場

  • これらのモデルは画像とテキストを柔軟に扱え、中にはオーディオも処理可能

  1. より難しいベンチマークが登場。

  • ImageNet、SQuAD、SuperGLUEなどの従来のベンチマークではAIモデルの性能が頭打ちになってきたため、より難易度の高いベンチマークの開発が進んだ

  • 2023年には、コーディング用のSWE-bench、画像生成用のHEIM、一般推論用のMMMU、道徳推論用のMoCa、エージェントベースの挙動用のAgentBench、幻覚(hallucination)用のHaluEvalなど、いくつもの新しいベンチマークが登場

  1. より優れたAIはより優れたデータを意味し、それはつまり...さらに優れたAIを意味する。

  • SegmentAnythingやSkoltechなどの新しいAIモデルが、画像セグメンテーションや3D再構築などのタスクに特化したデータの生成に使用されるようになった

  • データはAIの技術的な改善に不可欠で、AIを使ってより多くのデータを作成することで、特に難しいタスクにおける現在の能力が向上し、将来のアルゴリズムの改善につながる

  1. 人間による評価が導入されている。

  • 生成モデルが高品質のテキスト、画像などを生成するようになり、ImageNetやSQuADのようなコンピュータによるランキングではなく、Chatbot Arena Leaderboardのような人間による評価を取り入れるようになってきた

  • AIに対する一般の人々の感情は、AI進歩を追跡する上でますます重要な考慮事項になりつつある

  1. LLMのおかげで、ロボットはより柔軟になった。

  • 言語モデリングとロボット工学の融合により、PaLM-EやRT-2などのより柔軟なロボットシステムが出現

  • 改良されたロボット機能に加えて、これらのモデルは質問をすることができ、これは現実世界により効果的に対話できるロボットへの大きな一歩

  1. エージェント型AIの技術研究が増加。

  • 特定の環境で自律的に動作できるAIエージェントの開発は、長年コンピュータ科学者にとって難題だった

  • しかし、新たな研究では、自律型AIエージェントのパフォーマンスが向上していることが示唆されている

  • 現在のエージェントは、Minecraftのような複雑なゲームをマスターし、オンラインショッピングや研究支援などの実世界のタスクに効果的に取り組むことができる

  1. クローズドLLMはオープンLLMを大幅に上回る。

  • 10の主要なAIベンチマークにおいて、クローズドモデルがオープンモデルを上回り、その性能差の中央値は24.2%だった

  • クローズドモデルとオープンモデルの性能差は、AI政策の議論に重要な意味を持つ

Chapter 3: Responsible AI
人工知能は、教育、金融、医療など、重要な意思決定がしばしばアルゴリズムの洞察に基づいているセクターを含め、私たちの生活のほぼすべての側面に浸透しています。この統合には多くの利点がありますが、潜在的なリスクも生じる可能性があります。その結果、過去1年間、AI システムの責任あるな開発と展開に大きな関心が寄せられてきました。AIコミュニティも、AIシステムの影響を評価し、影響を受ける人々のリスクを軽減することに関心を持つようになりました。この章では、プライバシーとデータガバナンス、透明性と説明可能性、セキュリティと安全性、公平性の4つの主要な責任あるAI分野における指標、研究、ベンチマークを検討することで、責任あるAIの主要なトレンドを探ります。2024年に世界で40億人が投票すると予想されていることから、この章では特にAIと選挙に特別な項目を設け、AIが政治プロセスに及ぼす可能性のある影響についても幅広く探ります。

  1. LLMの責任に関する堅牢で標準化された評価が深刻に欠けている。

  • AI Indexの新しい研究によると、責任あるAIの報告において標準化が大幅に欠如している。

  • OpenAI、Google、Anthropicなどの主要開発者は、主に異なる責任あるAIベンチマークに対して自社モデルをテストしている。

  • この慣行により、トップクラスのAIモデルのリスクと限界を体系的に比較するための取り組みが複雑になっている。

  1. 政治的なディープフェイクは生成が簡単で、検出が難しい。

  • 政治的ディープフェイクはすでに世界中の選挙に影響を及ぼしており、最近の研究では、既存のAIディープフェイク検出手法の精度がさまざまなレベルで機能することが示唆されている。

  • さらに、CounterCloudのような新しいプロジェクトは、AIが偽のコンテンツを簡単に作成し、普及させることができることを示している。

  1. 研究者はLLMにより複雑な脆弱性を発見する。

  • 以前は、AIモデルのレッドチームに関するほとんどの取り組みは、人間に直感的に理解できる敵対的プロンプトのテストに焦点を当てていた。

  • 今年、研究者は、ランダムな単語を無限に繰り返すようモデルに要求するなど、LLMに有害な動作を示させるためのあまり明白ではない戦略を発見した。

  1. AIのリスクは世界中の企業にとって懸念材料となっている。

  • 責任あるAIに関するグローバル調査によると、企業のAI関連の主な懸念事項には、プライバシー、セキュリティ、信頼性が含まれている。

  • 調査では、組織がこれらのリスクを軽減するための措置を講じ始めていることが示されている。

  • しかし、世界的に見ると、これまでのところほとんどの企業はこれらのリスクの一部しか軽減していない。

  1. LLMは著作権のある資料を出力できる。

  • 複数の研究者が、人気のあるLLMの生成出力には、ニューヨーク・タイムズの抜粋や映画のシーンなどの著作権で保護された資料が含まれている可能性があることを示した。

  • そのような出力が著作権侵害に該当するかどうかは、中心的な法的問題になりつつある。

  1. AI開発者は透明性が低く、研究に影響がある。

  • 新たに導入されたFoundation Model Transparency Indexは、AI開発者、特にトレーニングデータと方法論の開示に関して透明性が欠如していることを示している。

  • この開放性の欠如により、AIシステムの堅牢性と安全性をさらに理解するための取り組みが妨げられている。

  1. 極端なAIリスクを分析するのは難しい。

  • 昨年、AIの学者や実務家の間で、アルゴリズムの差別などの即時のモデルリスクと潜在的な長期的な実存的脅威への焦点に関する大きな議論が起こった。

  • どの主張が科学的に根拠があり、政策立案に反映されるべきかを区別するのは難しい。

  • この難しさは、すでに存在する短期的リスクの具体的な性質と、実存的脅威の理論的な性質との対比によって複雑になっている。

  1. AIインシデントの数は増え続けている。

  • AIの誤用に関連するインシデントを追跡するAI Incident Databaseによると、2023年には123件のインシデントが報告され、2022年から32.3%増加した。

  • 2013年以来、AIインシデントは20倍以上に増加している。

  • 注目すべき例としては、Taylor Swiftの性的に露骨なAI生成ディープフェイクがオンラインで広く共有されたことが挙げられる。

  1. ChatGPTには政治的バイアスがある。

  • 研究者らは、米国での民主党支持、英国での労働党支持に向けたChatGPTの大きなバイアスを発見した。

  • この発見は、主要なグローバル選挙が行われる年に、このツールがユーザーの政治的見解に影響を与える可能性があることへの懸念を提起している。

Chapter 4: Economy
AIが経済に統合されることにより、多くの魅力的な疑問が生まれます。一部の人々はAIが生産性の向上をもたらすと予測していますが、その影響の程度は不確かです。大きな懸念は、大規模な労働力の置換の可能性です—AIによってどの程度の仕事が自動化され、増強されるのでしょうか?企業はすでに様々な業界でAIを活用していますが、世界の一部地域ではこの変革をもたらす技術への投資が著しく流入しています。さらに、投資家の関心は自然言語処理やデータ管理などの特定のAI分野に向かっているようです。この章では、Lightcast、LinkedIn、Quid、McKinsey、Stack Overflow、国際ロボット連盟(IFR)からのデータを使ってAI関連の経済トレンドを検討します。まずは、労働需要、採用動向、スキルの浸透度、人材の確保状況に関してAI関連の職業を分析します。次に、企業によるAIへの投資を探り、新たに生成AIに特化したセクションを紹介します。さらに、企業におけるAI採用の状況を評価し、現在の利用状況と開発者がこれらの技術を採用する方法を検討します。最後に、AIの現在と予測される経済的影響、さまざまな分野におけるロボットの設置状況を評価します。

目次１ 生成AI投資が急増
• 昨年、全体のAI民間投資は減少したものの、生成AIへの投資は急増し、2022年から2023年にかけて約8倍の252億ドルに達した。
• OpenAI、Anthropic、Hugging Face、Inflectionなど生成AI分野の主要企業が多額の資金調達ラウンドを報告した。

目次２ すでにリーダーであった米国が、AIへの民間投資でさらに引き離される
• 2023年、米国のAI投資は672億ドルに達し、次に投資額の多い中国の約8.7倍に。
• 2022年から中国とEU（英国含む）のAIへの民間投資はそれぞれ44.2％、14.1％減少したのに対し、同期間の米国は22.1％の大幅増加を経験。

目次３ 米国と世界全体でAI関連の仕事が減少
• 2022年、米国の全求人数のうちAI関連は2.0％だったが、2023年は1.6％に減少。
• 主要AI企業からの求人減少とこれらの企業内の技術職の割合減少がAI求人の減少につながったとみられる。

目次４ AIがコストを削減し、収益を増加させる
• 新たなマッキンゼーの調査により、調査対象組織の42％がAI（生成AIを含む）の導入によるコスト削減を、59％が収益の増加を報告。
• 前年比で、コスト削減を報告した回答者が10ポイント増加し、AIが企業の効率改善に大きく貢献していることが示唆された。

目次５ 総AI民間投資が再び減少する一方で、新たに資金を調達したAI企業の数が増加
• 世界のAI民間投資は2年連続で減少したが、2021年から2022年にかけての急減からは減少幅が縮小。
• 新たに資金調達したAI企業の数は1,812社に急増し、前年比40.6％増加。

目次６ 組織におけるAI採用が徐々に上昇
• 2023年のマッキンゼーレポートによると、組織の55％が少なくとも1つの事業部門または機能でAIを使用しており、2022年の50％、2017年の20％から上昇。

目次７ 中国が産業用ロボット分野を独占
• 2013年に日本を抜いて産業用ロボットの設置台数で首位に立った中国は、競合国との差をさらに広げている。
• 2013年、中国の設置台数は世界の20.8％を占めていたが、2022年までにその割合は52.4％に上昇。

目次８ ロボット設置の多様化
• 2017年、協働ロボットは新規産業用ロボット導入の2.8％に過ぎなかったが、2022年には9.9％に上昇。
• 同様に、2022年は医療用ロボットを除く全てのアプリケーション分野でサービスロボットの導入が増加。
• このトレンドは、ロボット導入の全体的な増加だけでなく、対人サービスの役割にロボットを投入することへの重点の高まりを示唆。

目次９ データで証明された:AIは労働者の生産性を高め、高品質の仕事につながる
• 2023年、複数の研究がAIの労働への影響を評価し、AIが作業の迅速化と品質向上を可能にすることを示唆。
• これらの研究はまた、AIが低スキルと高スキルの労働者間のスキルギャップを埋める可能性を示した。
• 一方で、適切な監督なしでAIを使用すると、パフォーマンスが低下する可能性があると警告する研究もある。

目次10 Fortune 500企業が生成AIを含むAIについて大いに語り始める
• 2023年、AIは394件（Fortune 500企業の約80％）の決算説明会で言及され、2022年の266件から大幅に増加。
• 2018年以降、Fortune 500企業の決算説明会でのAIへの言及はほぼ倍増。
• 最も頻繁に引用されたテーマは生成AIで、全決算説明会の19.7％で登場。

Chapter 5: Science and Medicine
今年のAIインデックスでは、科学と医医療におけるAIの役割が高まっていることを認識し、新たに科学と医療におけるAIの章を導入しています。この章では、GraphCastのような高度な気象予報システムやGNoMEのような改良された材料発見アルゴリズムなど、2023年のAIが支援した主要な科学的成果を探ります。また、医療AIシステムの性能、SynthSRやImmunoSEIRAなどの2023年の重要なAI駆動の医療イノベーション、およびFDAによるAI関連医療機器の承認の傾向についても検討しています。

    1. AIのおかげで科学の進歩がさらに加速する。

    1. AIが医療の大きな前進を支援する。

    1. 高度な知識を持つ医療AIが登場した。

    1. FDAがますますAI関連の医療機器を承認する。

Chapter 6: Education
この章では、誰が、どこで、そしてどのように学習しているかに焦点を当てながら、AIとコンピューター科学(CS)教育における傾向を検討します。AIが教育に与える影響についての懸念が高まる中、教師と生徒がChatGPTのような新しいAIツールをどのように使用しているかも調査しています。分析では、まずComputing Research Associationの年次Taulbee調査に基づき、米国とカナダの高等教育におけるCSおよびAI教育の現状を概観します。次に、ヨーロッパのCS教育に関するInformatics Europeのデータを検討します。今年は新しい項目として、Studyportalsによる英語圏のAI関連学位プログラムの世界的な数値データを紹介しています。最後に、Code.orgによる米国のK-12のCS教育に関する洞察と、Walton財団の学校におけるChatGPTの利用状況に関する調査結果を取り上げます。

    1. 米国・カナダの学士号取得CS卒業生数は引き続き増加、修士号取得CS卒業生数は比較的横ばい、博士号取得者は穏やかに増加。

    1. 産業界へのAI博士の移行が加速し続けている。

    1. 産業界から学術界への人材移動が減少。

    1. 米国・カナダのCS教育は国際色を失いつつある。

    1. より多くの米国の高校生がCSコースを受講するが、アクセスの問題が残る。

    1. AI関連の学位プログラムが世界的に増加傾向。

    1. 英国とドイツがヨーロッパのインフォマティクス、CS、CE、IT分野の卒業生輩出で主導的存在。

Chapter 7: Policy and Governance
AIの能力が向上するにつれ、政策立案者の関心を集めています。過去1年間に、米国やEUなどの国や政治団体は、重要なAI関連の政策を制定しました。これらの政策の増加は、政策立案者がAIを規制し、各国がその変革的可能性を最大限に活用できるようにする必要性を認識し始めていることを反映しています。この章では、2023年の重要なAIポリシー立案のイベントのタイムラインから、世界のAIガバナンスを検討し始めます。次に、世界および米国のAI法制化の取り組み、AIの法案の言及を分析し、世界中の立法者がAIをどのように認識し、議論しているかを探ります。その後、米国とEUにおける国家AIストラテジーと規制への取り組みについて説明します。最後に、米国におけるAIへの公的投資について研究します。

    1. 米国におけるAI規制の数が急増しています。

    1. 米国とEUが画期的なAI政策に取り組んでいます。

    1. AIが米国の政策立案者の注目を集めています。

    1. 世界中の政策立案者がAIについて語り続けています。

    1. より多くの規制当局がAIに注目し始めています。

Chapter 8: Diversity

AI開発者の人口統計は、ユーザーのそれとは異なることが多い。例えば、多くの有力なAI企業やモデルトレーニングに使用されるデータセットは、西洋諸国に起源を持つため、西洋的な視点を反映している。多様性の欠如は、社会的な不平等やバイアスを助長または悪化させる可能性がある。本章では、AIにおける多様性の動向について考察する。まず、米国およびカナダのコンピューター科学(CS)部門における多様性の現状を、Computing Research Association(CRA)からのデータに基づいて分析する。今年の分析の注目すべき追加点は、欧州のCS教育における多様性の動向を明らかにするInformatics Europeからのデータである。次に、毎年NeurIPSで開催される女性機械学習ワークショップ(WiML)への参加率を検討する。最後に、Code.orgのデータを分析し、米国の中等CS教育における現在の多様性の状況について知見を得る。AI Indexは、本章で共有されるデータの範囲を広げることに尽力している。性的指向など、AIに関する人口統計データは未だ希少である。AI Indexは、AIコミュニティの他の関係者に対し、AIに関連する多様性の動向を追跡する努力を強化するよう求め、将来の報告書で包括的にそうした動向をカバーできることを期待している。

    1. 米国およびカナダの学士号、修士号、博士号のCSコース学生は、人種的にますます多様化している。

    1. 欧州のインフォマティクス、CS、CE、ITの卒業生には、全ての教育レベルで顕著なジェンダー格差が存在する。

    1. 米国のK-12のCS教育は、性別と民族の両面での変化を反映して、より多様化している。

Chapter 9: Public Opinion
AI技術が広く普及するにつれ、その技術に対する一般の認識がどのように変化しているかを理解することが重要になってきます。この世論を理解することは、AIが社会に与える影響をよりよく予測し、技術の統合がどのように国や人口集団間で異なるかを把握する上で不可欠です。この章では、グローバル、国家、人口統計学、民族的な視点からAIに関する世論を検討しています。分析に使われているデータソースは以下の通りです。Ipsosによる長期的な調査データで、時間の経過に伴うグローバルなAI態度をプロファイリングしたもの、トロント大学による調査データで、ChatGPTに対する一般の認識を探ったもの、Pewによるアメリカ国民のAI態度に関するデータです。最後に、Quidのデータを使って、著名なAIモデルのTwitterでの言及を分析しています。

  1. 世界中の人々は、AIの潜在的な影響をよりよく認識するようになり、一方で不安も高まっている。

  2. 西側諸国におけるAIの評判は依然として低いものの、徐々に改善されつつある。

  3. 一般の人々は、AIが経済に与える影響に関して悲観的である。

  4. AIに対する楽観性には、人口統計学的な違いが見られる。

  5. ChatGPTは広く知られており、広く利用されている。

この記事が気に入ったらサポートをしてみませんか？