元OpenAI従業員が驚くべき手紙で新たな詳細を明かす...

カリフォルニア州上院法案1047、通称「安全で安心なフロンティア人工知能システムのためのイノベーション法」は、先進的なAIモデルの安全な開発と展開を確保するための規制を目的とした法案です。これはAI業界で最も議論を呼んでいる話題の一つとなっています。その理由は、Anthropicからの声明、OpenAIの内部告発者数名、業界の主要人物など、AIの未来に大きな影響を与える可能性のある様々な要素が含まれているからです。
この動画では、主要な側面について掘り下げた後、なぜこれがそれほど論争を呼ぶ問題なのかについて探っていきます。SB1047の主要な側面は以下の通りです。この法案は、多額の投資を必要とするAIモデル、特に訓練に1億ドル以上のコストがかかるものを対象としています。開発者に安全性評価の実施、モデルが危険な能力を可能にしないことの証明、年次監査と安全基準の遵守を義務付けています。
また、規制監督として、技術部門内に新たなフロンティアモデル部門を設置し、これらの規制の実施を監督します。この部門は、コンプライアンスの確保を担当し、違反に対しては最大でモデル開発コストの30%に相当する罰則を課す可能性があります。一部の個人は、このような法案が先進的なAIからの潜在的な害を防ぐために必要だと主張していますが、批判者たちは、これがイノベーションを妨げ、少数の大手テクノロジー企業に権力を集中させる可能性があると主張しています。
法案の文言が曖昧であるとされ、開発者のコンプライアンスと責任について懸念が生じています。多くの批判者、テクノロジー企業、AI研究者を含め、法案がAIモデル自体に焦点を当てており、その応用よりもイノベーションを妨げ、スタートアップやオープンソースプロジェクトに過度の負担をかける可能性があると主張しています。彼らは、これがAI開発の力を集中させ、カリフォルニアの進歩を遅らせる可能性があることを懸念しています。
本日、OpenAIの内部告発者たちから手紙が届き、この手紙に関する彼らの立場の理由を説明しています。彼らの立場は、OpenAIの最近の声明に影響を受けています。AIの安全性に焦点を当てた組織であるControl AIのTwitterアカウントが、OpenAIのチーフ戦略責任者であるジェイソン・クォンの先週の発言を引用しています。彼は「AIは規制されるべきだと常に信じてきており、その姿勢は変わっていない」と述べていました。
しかし、今週の彼の発言は大きく異なっています。彼は「AIの革命はまだ始まったばかりであり、カリフォルニアのAIにおける世界的リーダーとしての独特の地位が州の経済的ダイナミズムを促進している。SB1047はその成長を脅かし、イノベーションのペースを遅らせ、カリフォルニアの世界クラスのエンジニアや起業家たちがより大きな機会を求めて州外に出て行くことにつながるだろう」と述べています。
興味深いことに、サム・アルトマンは明確にAIの規制が必要だと述べています。これは2020年10月の彼の発言で、これらのシステムがどのように規制されるべきかについて語っています。「シリコンバレーには、AIが人類に何をする可能性があるかについて非常に心配している一団がいます。それはあなたにとって懸念事項ですか？」「確かにそうです。また、黙示録的な悪影響を真剣に受け止めないのは非常に悪い考え方だと思います。以前よりも楽観的になっていますが、この問題を乗り越えられると思います。ただ、『心配するな、大丈夫だ』と言うのは非常に悪い戦略です。OpenAIの安全性チームとポリシーチームを非常に誇りに思っています。
これらのシステムを人間化された方法で構築する方法について、非常に優れた技術的な仕事があります。私たちはその一部を行っていますし、他の人々も一部を行っています。おそらく私たち全員がもっと多くのことをすべきでしょう。」「人々が技術専門家が必要な安全性措置を講じていると確信できるような方法はありますか？潜在的な間違いの結果を考えると、ただ信頼するだけでよいと思いますか？」「いいえ、そうは思いません。政府の関与が必要です。私たちはできる限りそれを推進しようとしています。」「これまでのところ、政府との相互作用はどうですか？政府と定期的に協力していますか？何か規制上の問題に直面していますか？それとも、どのように...」「現在のところ、AIに関する規制はあまりありません。近い将来に規制が導入されると確信しています。本当にそうあるべきだと思います。」
この手紙のいくつかの重要な部分を紹介したいと思います。なぜなら、皆さんの注意を引く必要がある部分があるからです。ご存じのように、この手紙を書いたウィリアム・ソーターズとダニエル・コカロは、実際にOpenAIで働いていて、安全性の懸念から退職した人々です。この手紙は今日、2024年8月22日に公開されました。手紙は次のように始まります。「OpenAIや他の企業は、人工知能を一般的に人間よりも賢くするAGI（人工一般知能）の構築に向けてしのぎを削っています。」そして、OpenAIのミッションステートメントと、会社がこの目標を達成するために数十億ドルを調達していることを記しています。
その過程で、前例のないサイバー攻撃や生物兵器の作成を支援するなど、社会に重大な害をもたらすリスクを持つシステムを作り出しています。そして、もし完全に成功すれば、人工知能は今までに発明された中で最も強力な技術になるでしょう。これは、ほとんどの人々がまだ十分に理解していない明確な声明です。ここでは、彼らが次のように述べています。「私たちがOpenAIに加わったのは、会社が開発している信じられないほど強力なAIシステムの安全性を確保したかったからです。しかし、私たちはOpenAIを辞職しました。なぜなら、会社がAIシステムを安全に、誠実に、責任を持って展開するという信頼を失ったからです。」
その観点から、OpenAIがSB 1047に反対するロビー活動を決定したことは驚きではありません。ここで明確に述べられているのは、「適切な安全対策なしにフロンティアモデルを開発することは、公衆に壊滅的な害を及ぼす予見可能なリスクをもたらします。」私たちだけがAI技術の急速な進歩を懸念しているわけではありません。今年初め、「Science」誌は、25人の主要な科学者による合意文書を発表し、今後の高度なAIシステムからの極端なリスクについて説明しています。サム・アルトマンも同意しており、AIの最悪のシナリオは「私たち全員にとって終わりを意味する可能性がある」と述べています。
この声明は実際にかなり真実です。サム・アルトマンは、これらのAIシステムがいかに危険である可能性があるか、そしてどのような事態が起こり得るかについて、複数の機会で述べています。OpenAIの安全対策について、これらの個人が話すたびに、彼らが実際に持っているシステムがどれほど強力なのか、そして現在のモデルを安全に展開するために使用している準備フレームワークが実際に守られるのかどうか、本当に疑問に思います。
特に、顧客満足度を得るために企業が互いに競い合わなければならない、これらの最終的な競争状況にあることを考えると。ここでは、OpenAIが以前にシステムを安全に展開しなかったいくつかの重要な問題が説明されています。「内部告発者保護がない中で、OpenAIは、何百万ドルもの投資済み株式を失う脅威の下で、会社を批判する権利を永遠に放棄するよう要求しました。慎重かつ段階的な展開方法を謳っていた会社が、GPT-4をOpenAIの内部安全手順に直接違反してインドで早急に展開しました。
さらに有名な例では、OpenAIはBingのチャットボットに技術を提供し、そのチャットボットがユーザーを脅迫し、操作しようとしました。OpenAIは厳格な内部セキュリティ管理を主張していましたが、大規模なセキュリティ侵害や他の内部セキュリティ上の懸念がありました。会社はまた、セキュリティ慣行について懸念を提起したことを理由に、同僚を一部解雇しました。」もちろん、これはレオポルド・アッシェンブレナーを指しています。
ここでは、著名な安全研究者が会社を去ったことについても触れています。共同創設者を含む、人間よりも賢いAIシステムを制御する責任を負うチームの責任者は、辞任時に「会社はAGIの影響について真剣に考えるのが遅すぎた」と述べ、「安全文化が派手な製品に後座りしていた」と述べました。これらの事件が壊滅的な害を引き起こさなかったのは、真に危険なシステムがまだ構築されていないからであり、企業が危険なシステムを本当に処理できる安全プロセスを持っているからではありません。
私たちは、高リスクAIシステムに関する決定に公衆が関与すべきだと考えており、SBはこれを実現する場を作り出します。それは、安全基準について公衆に知らせるために、安全とセキュリティのプロトコルを公開することを要求しています。また、モデルが不合理なリスクを持っている場合、または重大な害を引き起こすか可能する能力がある場合に、カリフォルニア州司法長官に懸念を提起する内部告発者を保護します。公衆を誤解させ、それによって害や公共の安全に差し迫った脅威をもたらした場合、企業に対する結果の可能性を提供し、正当なIP利益を保護する慎重なバランスを取っています。
興味深いのは、ここでOpenAIのSB 1047に対する不満が建設的でないように見え、誠実でないように思えると述べていることです。OpenAIは内部告発者を保護せず、公衆に予見可能な壊滅的な害を引き起こす製品をリリースすることを防ぐために何もしていないと述べています。OpenAIが知っているように、これらはSB 1047の代替にはならないことは明らかです。基本的に、ここで述べられているのは、現在のAI業界では災害が起こるのを待っているということです。
多くの人々はAIの議論は無意味だと考えていますが、これらの人々は実際に正当な指摘をしています。企業は、製品をできるだけ早くユーザーの手に届けるために、安全上の注意を完全に無視してきました。そして今、私たちの前にある将来のサイクルを考えると、システムがはるかに賢く、はるかに能力が高く、したがってはるかに危険になることがわかっています。これが真実であれば、企業が過去にどのように行動してきたかを歴史的に見ると、近い将来に予見可能な壊滅的な害を引き起こす製品をリリースする可能性があることは明らかではないでしょうか。
そして、私はこれが妥当だと思います。彼らは明確に述べています。「議会の行動を待つことはできません。彼らは意味のあるAI規制を通過させる意思がないことを明示しており、もし彼らが行動するとしても、カリフォルニア州の規制を先取りする可能性があります。」AnthropicはC規制を先取りすることができると懸念する合理的な観察者に同意しています。彼らは基本的に、SB 1047の要件は、OpenAIを含むAI開発者がホワイトハウスへの自主的なコミットメントですでに大部分同意していることだと述べています。
主な違いは、SB 1047が開発者に、これらのコミットメントを守っていることを公衆に示し、守らない場合は責任を負わせるということです。
もちろん、ここでAI開発者の大量流出に対する恐れについて語っています。「州からのAI開発者の大量流出に対する恐れは矛盾しています。OpenAIはEU AI法について同じことを言いましたが、それは起こりませんでした。カリフォルニアは世界で最高のAI研究を行う場所であり、さらに重要なことに、法案の要件は場所に関係なく、CAで事業を行う誰にでも適用されます。元雇用主がAI安全法案を妨害するために恐怖戦術を採用するのを見るのは非常に残念です。」
そして、これがこの全ての主要なポイントです。「サム・アルトマン、私たちの元上司は、規制を繰り返し求めてきました。今、実際の規制が検討されているのに、彼は反対しています。以前、彼らは自主的にコミットしていると主張していたSB 1047の非常に軽いタッチの要件でさえ反対しており、そのコミットメントの強さに疑問を投げかけています。」前述のように、この手紙はウィリアム・ソーンダーズと、もちろんダニエル・コタロという元OpenAIのポリシースタッフメンバーによって書かれました。
これは、OpenAIがAIを取り巻く規制に関する立場を一貫して示してきたことを考えると、かなり驚くべきことです。彼らはかなり支持的であるように見えましたが、しかし、実際にそれが来ているときに、何らかの理由で彼らは躊躇しているのかもしれません。
興味深いことに、OpenAIの元メンバーだけがこの手紙について、そしてこれがAI領域にもたらす問題について書いているわけではありません。ここでAnthropicの手紙を見ることができます。この手紙は昨日書かれたものです。いくつかのことが述べられており、その中で皆さんの注意を引きたいものがあります。ここでは「SB 1047の長所と短所」と書かれています。「私たちは、元のSAIA手紙で明確にしたように、SB 1047がAIシステムの壊滅的リスクに関する現実的で深刻な懸念に対処していることを明確にしたいと思います。今日進歩しているAIシステムは非常に急速に能力を獲得しており、これはカリフォルニア州の経済に大きな約束をもたらすと同時に、実質的なリスクももたらします。」
そして、ここが興味深いところです。「私たちの生物防御の専門家、サイバーの専門家、その他の人々との作業は、今後数年間、おそらく1〜3年というわずかな期間で、深刻な誤用の可能性があるという傾向を示しています。」これは驚くべき声明ですが、AIの開発のペースを考えると、これが可能性がないとは思えません。
この論文について注目すべきいくつかの重要な点があります。ここには「SB 1047が採用されるかどうかに関係なく、カリフォルニア州は今後何年にもわたってAI技術の規制に取り組むことになるでしょう」と書かれています。そして、「以下に、AI規制に関する私たちの一般的な見解を共有します。これはSB 1047と、それに代わるか追加される可能性のある将来の規制努力の両方を考慮する上で有用かもしれません。」
基本的に、ここでは多くの規制が対処できていない問題のいくつかを述べています。私が以前に見た主要な問題の一つは、もちろん、規制が進歩のスピードによって推進されるということです。通常、物事を規制するには時間がかかります。様々な法案を通過させなければならず、様々な委員会があり、正直に言って、政府の無意味なことがたくさんあります。しかし、法案が通過する前に多くの異なる領域を通過しなければならない理由は完全に理解できます。
ここでのポイントは、これがAIではうまく機能しないということです。なぜなら、AIは非常に急速に進歩しているからです。ここでは、「一方では、これは一部の問題について規制が緊急に必要であることを意味します。私たちは、これらの技術が近い将来、公衆に深刻なリスクをもたらすと信じています。他方、この分野が非常に急速に進歩しているため、リスク軽減の戦略は急速に進化しており、確立されたベストプラクティスというよりも、科学的研究の問題に似ていることがよくあります。」
私たちは、これが本当に最も困難なジレンマの一つであり、SB1047に関する、そして一般的に異なる専門家の間での見解の相違の重要な推進力であると信じています。そして、正しく言われているように、文字通り12ヶ月ごとに変化するものを規制しようとすることは、あり得ないほど難しいのです。
このジレンマに対する一つの解決策として、彼らが話しているのは、非常に適応性のある規制です。「上記のジレンマに取り組む中で、最良の解決策は、この分野の急速な変化に非常に適応可能な規制フレームワークを持つことだという見解に至りました。」これは理にかなっています。
「AIフロンティアモデルの規制フレームワークの具体的な特性に関して、私たちは3つの主要な要素が不可欠だと考えています。透明性のある安全性とセキュリティの実践です。現在、多くのAI企業はAIの壊滅的リスクを管理するための詳細な安全性とセキュリティ計画を持つ必要があると考えていますが、公衆や立法者には、これらの計画の遵守や、その一部として実行されるテストの結果を検証する方法がありません。」
基本的に、彼らが述べているのは、これらの企業が常に「モデルが特定の閾値を超えるかどうかをテストし、その閾値を超えた場合はモデルを絶対にリリースしない」と言っているが、彼らがこれらの発見を誰にも公開しないなら、内部で何が起こっているのかをどうやって知ることができるのか、ということです。彼らは、特定の方法でテストしていないモデルを完全に危険なままリリースする可能性があります。
「この分野の透明性は、公衆の説明責任を生み出し、産業の学習を加速させ、ほとんどデメリットなしにトップへの競争を促進するでしょう。」Anthropicはまた、壊滅的な事態を防ぐために安全性とセキュリティの計画を効果的にするためのインセンティブについて話しています。基本的に、彼らが述べているのは、「一日中ルールを規定することはできますが、主要なことは正しい結果にインセンティブを与えることです。」これは人間がどのように動機づけられるかということです。正しいことでインセンティブを与えれば、常に望む結果を得ることができます。
ここでは、「私たちはおおよそこれらの要件を満たすフロンティアAIシステムを管理するためのフレームワークを持つことが重要だと信じています。そして、AIシステムがより強力になるにつれて、適切な規制を確実に整備することが非常に重要です。敬具、Anthropic CEO ダリオ・アモド」と述べられています。
全体として、ここには企業の立場に関する包括的な見解があります。Anthropicが規制を望んでいることは明らかですが、現在提案されている規制でさえ必要なことを実現できないことを理解しています。そして、OpenAIは驚くべきことに、AIシステムの規制に関する最近の立場を考慮すると、システムを規制しないことに傾いているように見えます。
いずれにせよ、この法案が受け入れられるかどうかを知りたいと思います。皆の立場が非常に興味深いように見えます。AIを規制することは間違いなく難しいです。AIの規制についてどう思いますか？これらのようなものが機能すると思いますか？
OpenAIの安全性に関する方法について知りたい場合、これは彼らの準備フレームワークのベータ版です。基本的に、彼らは更新版を持っていますが、私はそれを見つけることができません。要するに、モデルが特定のレベルに達した場合、基本的に彼らはそれをリリースしないと言っています。これが、私が以前に言ったように、特定の分野でフロンティアモデルを得ることはないと思う理由です。モデルの知識を増やしながら、それを行うのはかなり難しいからです。
サイバーセキュリティがあり、これは生物学的およびその他の脅威、これは説得力、そしてこれはモデルの自律性です。これは基本的に、出て行って何かをする自動的な行動です。これはかなり驚くべきことです。
個人的には、私たちが入っていくのはグレーな領域だと信じています。規制は非常に難しいですが、ここで私が起こると思うことは次の通りです。規制は開発に遅れをとり、どこかで何かが起こり、それが起こったときに、おそらく規制を強制することになるでしょう。通常、非常に革新的な分野では、規制が進歩に追いつけず、このようなフレームワークが常に効果的ではない可能性があるため、残念ながら、おそらく何か悪いことが起こるのを待たなければならず、それが起こった後で、その規制が再び起こらないように規制を導入することになるでしょう。
例えば、TSA、アメリカで起こった悲劇を見てみると、それが航空旅行を完全に変えました。そのようなことです。私は残念ながら、おそらく別のそのようなシナリオを見ることになると思います。そうならないことを願っています。むしろ、規制がこれらの企業にイノベーションを許可し、また秘密を共有しないことを許可することを望みます。私はそれが彼らが主に恐れていることだと思いますが、しかし、私たちは見守る必要があるでしょう。