見出し画像

サム・アルトマンは安全リスクの公表を違法に禁止した件で政府から質問を受けページを更新

Zun-Beho

OpenAIは政府からの質問状を受けて、AIの安全性を優先している方法について、最新情報をまとめたページとpdfをリリースしました。下記はその告知のポストです。

下記のポストは、「今朝、上院の民主党議員 5 名がサム・アルトマン氏に 12 の質問を含む書簡を送りました。9 番目の質問は、「OpenAI は、次の基盤モデルを米国政府機関に事前導入テスト、レビュー、分析、評価のために提供することを約束しますか?」でした。」と言っています。

上記の質問状を翻訳しますと以下の様になります。質問状の下には、内部告発者のリーク記事のリンクが張られています。

サム・アルトマン氏 最高経営責任者（CEO） OpenAI 3180 18th Street San Francisco, CA 94110

2024年7月22日

米国上院 ワシントンDC 20510

サム・アルトマン様

私たちは、OpenAIの安全性と雇用慣行に関する最近の報告に関してお手紙を書いています。OpenAIは、公の利益のために安全で安心できる責任ある人工知能（AI）の開発にコミットすることを発表しました。これらの報告は、OpenAIが新たに浮上している安全性の懸念にどのように対処しているかについて疑問を提起しています。私たちは、OpenAIが公約した安全性の公約を満たすために講じている措置、社内でその公約の進捗状況をどのように評価しているか、そしてサイバーセキュリティの脅威をどのように特定し軽減しているかについて、OpenAIから追加情報を求めています。

安全で安心なAIは、21世紀の国の経済競争力と地政学的地位にとって非常に重要と広く認識されています。さらに、OpenAIは現在、米国政府および国家安全保障・防衛機関と協力して、国の重要なインフラを保護するためのサイバーセキュリティツールを開発しています。国家および経済の安全保障は、米国政府の最も重要な責務の一つであり、安全でないまたは脆弱なAIシステムは容認できません。

OpenAIが主要なAI企業としての地位を持つことを考えると、公開されたシステムの安全性と信頼性を確保することが重要です。これには、会社のガバナンス構造と安全テストの整合性、雇用慣行、公開された約束と使命への忠実さ、サイバーセキュリティ政策が含まれます。昨年ホワイトハウスであなたや他の主要なAI企業が行った自主的な約束は、この信頼を構築するための重要な一歩でした。

したがって、私たちは2024年8月13日までに以下の情報を求めます。OpenAIは、以前に公約した計算リソースの20％をAI安全性の研究に充てるという公約を守る予定ですか？


参考リンク:https://www.nytimes.com/2024/06/04/technology/openai-culture-whistleblowers.html
https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
https://www.washingtonpost.com/technology/2024/07/13/openai-safety-risks-whistleblower-sec/
https://www.nytimes.com/2024/07/04/technology/openai-hack.html
https://www.washingtonpost.com/technology/2024/07/12/openai-ai-safety-regulation-gpt4/
https://openai.com/index/introducing-superalignment/
https://fortune.com/2024/05/21/openai-superalignment-20-compute-commitment-never-fulfilled-sutskever-leike-altman-brockman-murati/


敬具

上院の民主党議員 5 名

OpenAIは十分な安全対策を実施するまで、新しいモデルが「中程度」のリスクしきい値を超えた場合はリリースしないと言っています。

それでは「準備フレームワーク (ベータ版)」pdf、つづいて「Preparedness」ページを簡単まとめて解説します。

OpenAI 準備フレームワーク (ベータ版)

この文書は、オープンAIのモデルが引き起こす可能性のある大規模なリスクに対する対策を説明するためのものです。AGI（汎用人工知能）に近づくにつれて、リスクをより慎重に管理する必要があります。

トラッキングされるリスクカテゴリー

  • サイバーセキュリティ: モデルがサイバー攻撃に利用されるリスク。

  • 化学、生物、放射線、核（CBRN）: モデルが危険な物質の作成に利用されるリスク。

  • 説得: モデルが人々の信念や行動を変えるために利用されるリスク。

  • モデルの自律性: モデルが自己改善や自己複製するリスク。

スコアカード

リスクを評価し、緩和策の前後でのリスクレベルを示すスコアカードを使用します。例えば、サイバーセキュリティのリスクは、モデルがサイバー攻撃を助長するかどうかに基づいて評価されます。

ガバナンス

  • 安全基準: あるリスクが「中」以下の場合のみモデルを展開します。「高」以上の場合、追加の安全対策を講じます。

  • 運用体制: 準備チームがリスクを監視し、安全アドバイザリグループが推奨事項を提供します。

Preparedness(備え)

AIのリスク研究の不足と対策の必要性

最先端のAI（フロンティアAI）が引き起こすリスクの研究は、まだまだ十分ではありません。これを解決するために、私たちは「準備フレームワーク」を導入します。このフレームワークは、強力なAIモデルが引き起こす大規模なリスクを追跡、評価、予測し、それに対する保護対策を説明します。

準備チームの役割

準備チームは、最先端のAIモデルを安全にするために取り組んでいます。

複数のチームの協力

私たちには、AIのリスクを軽減するために協力している複数の安全性および政策チームがあります。例えば：

  • 安全システムチーム: 現在のモデルやChatGPTのような製品の悪用を防ぐことに集中しています。

  • スーパーアライメント: 将来の超知能モデルの安全性の基盤を作っています。

  • 準備チーム: フロンティアモデルの新たなリスクをマッピングし、安全システムやスーパーアライメント、その他の安全性・政策チームと連携しています。

AIのリスクとは？

AIがますます賢くなると、予想外の問題が発生する可能性があります。例えば、AIが誤って人々に有害なことをしたり、意図せずに大きな問題を引き起こしたりすることです。これを防ぐためには、AIのリスクを事前に予測し、それに対する対策を講じる必要があります。

準備フレームワークは、以下のことを行います：

  1. リスクの追跡: AIが引き起こす可能性のある問題を監視します。

  2. リスクの評価: どのようなリスクがどの程度深刻であるかを評価します。

  3. リスクの予測: 将来のリスクを予測します。

  4. 保護対策: リスクに対する対策を講じます。

複数のチームの協力で以下の事を行います：

  • 安全システムチーム: AIの悪用を防ぎます。例えば、AIがサイバー攻撃に使われないようにします。

  • スーパーアライメント: 将来の非常に賢いAI（超知能）が安全であることを確認します。

  • 準備チーム: 新たに出現するリスクを見つけ出し、それに対する対策を立てます。

科学と事実に基づく準備

私たちは、AIの新たなリスクをよりよく検出するために、厳密な能力評価と予測に投資しています。特に、リスクの議論を仮説的なシナリオから具体的な測定とデータに基づく予測に移行させたいと考えています。また、現在の状況だけでなく、将来の予測も行います。これが私たちのミッションにとって非常に重要なので、最高の技術者たちをこの仕事に従事させています。

安全性への取り組み

私たちの会社は、科学と工学を緊密に結びつけることを基盤としています。そして、この「準備フレームワーク」は、安全性に関する作業にも同じアプローチを適用しています。私たちは実際の利用から学び、その教訓を新たなリスクの軽減に役立てています。これからの革新に対応するために、安全性の作業も継続的に学び続ける必要があります。

準備フレームワーク (ベータ版)

私たちの「準備フレームワーク（ベータ版）」は、以下のアプローチを示しています：

  • 評価とスコアカードの更新: 全てのフロンティアモデルに対して評価を行い、スコアカードを継続的に更新します。特に、計算能力が2倍に増えるごとに評価を行います。モデルの限界までテストを行い、その結果を基にリスクを評価し、提案された緩和策の効果を測定します。

  • 具体的なリスクの探求: 私たちの目標は、具体的なリスクを明らかにし、それを効果的に緩和することです。

  • リスクスコアカードと詳細なレポートの作成: モデルの安全レベルを追跡するために、リスクスコアカードと詳細なレポートを作成します。

科学に基づくアプローチとは？

AIのリスクを評価するために、科学的な方法と事実に基づくデータを使用します。これにより、実際にどのようなリスクがあるのかを正確に把握し、それに対する対策を講じることができます。

リアルワールドから学ぶ

実際の利用状況から得られる教訓を元に、新たなリスクを見つけ出し、それに対処する方法を学びます。これにより、AIの安全性を高めることができます。

準備フレームワークの具体的な手順

  • 評価の実施: AIモデルをテストし、その結果をスコアカードにまとめます。

  • 継続的な更新: 新しいデータや結果に基づいて、スコアカードを常に最新の状態に保ちます。

  • リスクの明確化: 具体的なリスクを見つけ出し、それに対する効果的な対策を講じます。

リスクしきい値の設定

私たちは、リスクが一定のレベルに達したときに基本的な安全対策を発動するためのしきい値を設定します。以下の最初に追跡するカテゴリーごとにリスクレベルのしきい値を設定します：

  • サイバーセキュリティ: ハッキングなどのリスク。

  • CBRN: 化学、生物、放射線、核の脅威。

  • 説得: 人々を説得して行動を変えるリスク。

  • モデルの自律性: AIが自己改善や自己複製するリスク。

安全リスクレベル

安全リスクには四つのレベルがあります：

  1. 低いリスク

  2. 中程度のリスク

  3. 高いリスク

  4. 重大なリスク

緩和策を講じた後のスコアが「中」以下のモデルだけが展開されます。「高」以下のモデルだけがさらに開発されます。また、緩和策を講じる前に高いまたは重大なリスクがあるモデルには、追加のセキュリティ対策を実施します。

専任チームの設立

技術作業を監督し、安全性に関する意思決定のための運用構造を確立するために、専任のチームを設立します。準備チームはフロンティアモデルの能力の限界を調べ、評価を行い、レポートを作成します。この技術作業は、安全なモデルの開発と展開に関するオープンAIの意思決定に不可欠です。

安全アドバイザリーグループの設立

私たちは、安全アドバイザリーグループを設立し、全てのレポートをレビューし、同時にリーダーシップと取締役会に送ります。リーダーシップが意思決定を行いますが、取締役会は決定を覆す権利を持っています。

リスクしきい値の設定の重要性

リスクしきい値を設定することで、AIが危険な状況にならないように予防策を講じることができます。例えば、AIがサイバー攻撃に利用されるリスクが高まったときには、すぐに追加の安全対策を実施します。

専任チームの役割

準備チームは、AIモデルがどのように使われるかを評価し、その結果を元にレポートを作成します。このレポートは、AIの安全な開発と利用に役立ちます。

安全アドバイザリーグループの役割

このグループは、準備チームからのレポートをレビューし、必要な対策を提案します。最終的な決定はリーダーシップが行いますが、取締役会がその決定を見直し、必要ならば変更することもあります。

追加の安全対策と外部監査のプロトコル

私たちは、さらに安全性を高めるためのプロトコルを開発し、外部からの監査も受けます。準備チームは定期的に安全訓練を行います。安全上の問題が急に発生することもあるので、緊急事態に迅速に対応する能力も持っています。この作業にはオープンAIの外部からのフィードバックが重要であり、独立した第三者による監査を受ける予定です。また、他の人々が私たちのモデルをテストし、評価することを続け、外部に向けても最新情報を共有する計画です。

その他の既知および未知の安全リスクの削減

私たちは、外部のパートナーや内部の安全システムチームと緊密に協力し、実際の悪用事例を追跡します。また、スーパーアライメントと協力して、新たに出現するリスクを追跡します。さらに、モデルが大きくなるにつれてリスクがどのように進化するかを測定する新しい研究にも取り組んでおり、リスクを事前に予測するのに役立てます。最後に、未知のリスクを明らかにするための継続的なプロセスを実行します。

この記事が気に入ったらサポートをしてみませんか？