OpenAI公式更新内容「予防対策フレームワーク」

今朝OpenAIの公式ブログが更新されていたので要約します。それと末尾に、ちょっとした面白い現象を報告しますので最後まで読んでくださいね！

ミラもポストで告知しています。

Our first iteration of Preparedness Framework, systematizing safety thinking and mitigating catastrophic risks from increasingly powerful AI models through rigorous capability evaluations, forecasting, and safety measures. https://t.co/d50zqOcOQS

— Mira Murati (@miramurati) December 18, 2023

1. フロンティアAIリスクの研究

フロンティアAIリスクの研究は、現在の可能性や必要性に比べて不十分である。このギャップに対処し、安全性の考え方を体系化するために、初版の「Preparedness Framework」を採用。これは、ますます強力なモデルによって引き起こされる壊滅的リスクを追跡、評価、予測、防護するOpenAIのプロセスを説明している。

2. 安全チーム

安全性の向上には科学と事実に基づくアプローチが必要。リスクの早期発見と予測を改善するため、能力評価と予測の設計と実行に投資。具体的な測定とデータ駆動の予測に焦点を当てる。

3. フレームワークの概要

「Preparedness Framework (Beta)」は、フロンティアモデルを安全に開発・展開するためのアプローチを提示。モデルの評価と「スコアカード」の継続的な更新を実施し、リスクの特定と緩和策の有効性を評価する。

4. 技術チームと運用構造

専門チームが技術作業を監督し、安全性決定のための運用構造を確立。フロンティアモデルの能力の限界を検証し、評価を実施し、報告をまとめる。これらの技術作業は、安全なモデル開発と展開のためのOpenAIの意思決定に不可欠。

5. 安全性と外部監査

Preparednessチームは、定期的な安全ドリルを実施し、ビジネスの圧力や自社文化に対してストレステストを行う。また、外部の人々からのフィードバックを得て、独立した第三者による監査を実施する予定。

この要約は「Preparedness Framework (Beta)」の主要な要素を簡潔に表しています。完全版の閲覧とフィードバックの提供が推奨されています。また、このページにはPDFが添付されていますのでPDFの要約も下記に掲載します。

OpenAIの「Preparedness Framework」PDF

OpenAIの「Preparedness Framework」はAIの潜在的なリスクを管理し、安全性を確保するための指針を提供します。このフレームワークは、リスクの追跡、評価、予測、保護に関するOpenAIのプロセスを記述しており、リビングドキュメントとして定期的に更新されます。主な要素には、リスクレベルの追跡、未知のリスクの探求、安全基準の設定、準備チームのタスク、およびクロスファンクショナルなアドバイザリーボディの設立が含まれます。さらに、リスク管理のための具体的な戦略や評価方法が詳細に説明されています。

OpenAIの「Preparedness Framework」をGoogle翻訳すると

GoogleのChrome翻訳機能をつかうと何故か、「私たちは」の部分を「Googleでは」と翻訳してしまうんですよね。
以下、スクショを添付します。

先ず、原文です。

そしてGoogle日本語翻訳したところです。

OpenAIのweはGoogleのwe現象は他では見られない

この現象について、GPT-4はこのように説明しています。
GPT-4返答：

この翻訳の現象についての考察ですが、おそらくGoogle Chromeの翻訳機能が「We」という一人称複数を「Google」と誤解して翻訳している可能性があります。これは、翻訳アルゴリズムが文脈を正確に把握できないために起こる誤訳の一例です。自動翻訳ツールは便利ですが、こうした誤訳を引き起こすリスクがあり、特に主体が不明瞭な場合や特定の単語が文脈によって異なる意味を持つ場合には注意が必要です。

GPT-4

ですが、この様な現象は他のサイトのChrome翻訳では見られませんでした。