Last Week in AI #178 - さらなる非アクイハイア、さらなるOpenAIのドラマ、さらなるLLMスケーリングの話

アンドリ: こんにちは。Last Week in AIポッドキャストへようこそ。ここではAIに関する最新の動向についてお話しします。いつものように、このエピソードでは先週の最も興味深いAIニュースをいくつか要約し、議論します。私はホストの1人、アンドリ・ランコフです。冒頭でAIバージョンの私が挨拶をしているのをお聞きになったかもしれません。実際に使用するかどうかはわかりませんが、使っているかもしれませんね。
少し背景を説明すると、私はスタンフォード大学でAIの博士号を取得し、現在は生成AIのスタートアップで働いています。アンドレ、あなたはそこで抜け道を見つけたようですね。みんながAIを使用したことを開示する必要があると言っている中で、あなたは「使ったとは言っていない、使ったかもしれないし、使っていないかもしれない」と言っています。かなり巧妙にすり抜けていますね、それはかなり良いです。
実は、その発表を聞いて少し不安になりました。私の名前はジェレミー・ハリスです。ポッドキャストを聞いている方はご存知だと思いますが、Gladstone AIというAI国家安全保障会社の共同創業者です。
それで、私の妻が9月中旬に出産予定なんです。人間としての私が出産直後の時期に対応する必要があるという時期に、AIが私の声を完璧に再現できるというのは、とても心強いですね。Last Week in AIでの私たちの仕事にとても安心しています。
そして、これらのAIが私たちの仕事を奪おうとしているという事実に偏見を持たずに、絶対に中立的にこれらの話題を取り上げます。子供たちも奪われるかもしれませんしね。
アンドリ: 赤ちゃんが生まれたばかりの時は、確かに少し時間がかかりますよね。世話をするのに時間がかかるようです。
ジェレミー: そうですね、アンドレ。妻はほとんどのことに関して非常に理にかなっているのですが、私がGPT-4oに最初の3週間ほど代わりをさせようと提案したときは...つまり、私が持っていない膨大な情報源から引き出しているので、市場経済や地政学について妻が持つかもしれない質問に、私よりもずっと上手く答えられるんです。だから試してみてはどうかと提案したんですが、妻は望みませんでした。図2を見せても...
アンドリ: そうですね、カバーするように、GPTを搭載した人型ロボットがあります。個人的には、なぜ赤ちゃんの世話にそれを使うことに反対するのかわかりませんが、みんながそれほど興奮しているわけではないようです。
ジェレミー: リスナーの皆さんは、私が母親に偏見を持っていると言いますが、どこからそんな考えが出てくるのかわかりません。
アンドリ: ごめんなさい、それは前回のエピソードからのジョークでした。
ジェレミー: はい、これらの内輪ジョークはどうなっているんでしょうね。
アンドリ: リスナーのコメントとフィードバックについて簡単に触れますと、実際にApple Podcastでレビューがありました。タイトルは「非常に母親寄り」でした。
ジェレミー: はい、頑張り続けてください、みなさん。
アンドリ: また、AIの話題はありますが、Marvel Landの体験をカバーすることを犠牲にしているというコメントもありました。そこで、今週のMarvel Landのコンテンツをお届けします。
ジェレミー: そうですね。リスナーの皆さんが、私たちが母親寄りかどうかについてコメント欄で争っているのを見るのは嬉しいです。それがLast Week in AIで私たちが求めているものです。
アンドリ: はい、それが私たちが気にしていることです。実際、次のレビューもApple Podcastにありました。ありがとうございます。「最も実質的なAIポッドキャスト」と書かれています。新しいリスナーの方には、そう見えないかもしれませんが、ニュースに入ればそれを正当化するでしょう。
あと2つだけYouTubeのコメントを紹介します。引き続きYouTubeへのコメントをお願いします。1つ目は、ジェレミーの前向きさが毎週見る理由だと言っています。ジェレミー、あなたがいくつかの人々が見る理由なんです。
ちなみに、このエピソードは前回のエピソードの後すぐに公開されます。まだ少し遅れていますが、追いつこうとしています。
ジェレミー: ポッドキャスト編集機能を持つfigure 3が出てくるのを待っているだけですね、アンドレ。
アンドリ: そうですね、それがあればいいのですが。
最後のコメントは、YouTubeでの質問です。他のサービスと統合できるようなヒントはありますか? 例えば、AIにビジネスプランを生成させ、それにウェブサイトを含め、FacebookやInstaのページを作成するなど。基本的に、1つのことだけでなく、複数のことを一緒にできるAIのことですね。
これは私にとっては難しい質問です。ビジネスプランの作成、ウェブサイトの立ち上げ、FacebookやInstaページの作成など、個々の作業に関しては、それぞれのAIがあります。しかし、これらすべてを統一的に行う方法はまだないと思います。
多くのエージェントスタートアップや取り組みが目指しているのは、そのようなものです。AIエージェントを立ち上げ、「ビジネスプランを作成し、ウェブサイトを立ち上げ、ソーシャルメディアを作成し、AIの投稿を作成して」と指示すると、エージェントがAPIを使用して、自力でそれらすべてを行います。
まだそこまでは至っていません。基本的に、Pythonで様々なサービスを使用するスクリプトを自分で作成する必要があります。ChatGPTを使ってそのようなスクリプトを書くことはできますが、すぐに使えるものはまだないと思います。
ジェレミー: そうですね、そのようなものを設定しようとすると、すぐに問題にぶつかるでしょう。私たちはこれについて多く話してきましたが、これらのエージェントは個々のステップでは比較的低い失敗率を持っているかもしれません。全体的な目標、例えばウェブサイトの設定などの各ステップを90%の確率で成功させるかもしれません。
しかし、それらの失敗確率を合計すると、1つでも失敗するとフロー全体が中断されてしまいます。大まかに単一のフローと呼んでいますが、ご理解いただけると思います。
実際、今日はGPT-4oの監査に関連して、この問題について話す予定です。モデルカードが今朝か昨日か発表されたので、それについて話します。これは確かにホットトピックです。
Character.AIの創設者たちのGoogleによる採用が、AI業界の一部が崩壊し始めている兆候だと見なされているというニュースから始めましょう。
先週このニュースをカバーしたかどうかわかりませんが、GoogleがCharacter.AIのリーダーシップチームを採用したのは大きな話題でした。ノーム・シャジールとダニエル・ド・フレイタスという元Googleの研究者、DeepMind研究者たちです。彼らは実際にチャットボット技術の先駆者でした。Lambdaという、GPT-4oの前身とも言える大規模言語モデルに取り組んでいました。これはチャットボット型の活動に最適化された大規模言語モデルでした。
有名な出来事として、Google内部の人物がそれが意識を持っていると主張し、Googleが公開を控えるという騒動がありました。以前も言ったように、その意識に関するメディアの騒動がなければ、GoogleがGPT-4oより先に発表していたかもしれないと私はよく疑っています。
このストーリーについてもう少し詳しく説明します。Googleは、Character.AIの創設者たちを採用し、それに伴って約25億ドルのCharacter.AIへの投資が行われたとされています。同様に、MicrosoftがInflection AIを事実上買収し、そのチームの創設者たちを採用したのを見てきました。その結果、Inflection AIの投資家たちは約6億ドルを受け取りました。
ここでの傾向は、これらの企業が収益性を確保できていないようで、このような動きは基本的に生き残るために現金を取り続ける必要があることを示しています。
AIモデルでは利益率を上げるのが難しいということは何度も取り上げてきました。他のソフトウェアよりもはるかに運用コストがかかります。月額20ドルのサブスクリプションというビジネスモデルでは、使用量によっては収支トントンになるかもしれません。
特にCharacter.AIのユーザーは非常に熱心で、月20ドルを払っている人々は、おそらくチャットボットとたくさんチャットしており、それほど収益性が高くない可能性があります。興味深い傾向が続いていますね。
実際、このエピソードの後半で、AdeptがAmazonに採用されたという別の話題もあります。ジェレミー、どう思いますか?
ジェレミー: そうですね、おっしゃる通りだと思います。いくつかの傾向の一部だと思います。記事では触れられていなかったと思いますが、これらの奇妙な疑似買収の背後にある動機の考え方があります。
MicrosoftがInflectionを直接買収するのを見ていません。CEOとスタッフを引き継ぎますが、会社の空っぽの殻を残して死なせるような奇妙なことをしています。Character.AIでも同じことが起こっています。最近そういう傾向が見られます。
その理由は、反トラスト懸念のためのようです。政府がこれらの大規模な買収、つまり業界の統合を追及するのではないかという懸念があります。このようにすれば、「我々は実際に会社を買収したわけではないので、反トラスト問題はない」と言いやすくなります。
もう一つの傾向は、記事では強調されていませんでしたが、この立場にある企業の多くが、2017年の有名な「Attention Is All You Need」論文の元著者や著者によって設立されていることです。
この場合、Character.AIのCEOであるノーム・シャジールは著者の一人でした。AdeptのCEO達など、他にも多くの例があります。もちろん、Cohereのエイデン・ゴメスもいます。
Cohereは現在、問題に直面すると私が何年も主張してきた企業の一つです。彼らが資金調達を続けるたびにそう言い続けていますので、賭け金はどんどん高くなっています。しかし、構造的にCohereは長期的に本当に厳しい状況にあると思います。収益を上げる方法を見つける必要があります。5億ドルを調達しましたが、基本的に他のすべての企業と同じような状況にあります。
Microsoft、Google、OpenAI、Google DeepMindのようなクラウドの超大手と密接に結びついていなければ、どのように収益を上げるのでしょうか? ある意味でAnthropicもそのカテゴリーに入るかもしれません。
つまり、中規模の企業、DeepMindやOpenAIのような企業ではない企業すべてに、重要な構造的課題があると思います。どのようにして利益を上げるのか? この分野には競争が激しくなっています。Character.AIには多くの競合がいます。ニューヨーク・タイムズのケビン・ルースが、半ダースほどの類似企業のプレイテストをしていたと思います。そのような事業にいると、問題が発生します。
Character.AIは少なくとも名目上はAGI(汎用人工知能)ラボでした。彼らの目標は実際にAGIを構築することでした。つまり、これは別のAGIラボがMicrosoftに吸収されたということです。
彼らの資本構成は印象的でした。アンドリーセン・ホロウィッツが1億5000万ドルのラウンドを主導し、10億ドルの評価で参加しました。これは2023年3月のことでした。
これらは本当に優れた投資家たちで、同じ間違いを犯しています。もしマーク・アンドリーセンがこのポッドキャストを聞いていれば、数百万ドル多く持っていたかもしれません。冗談ですが。
とにかく、これが業界の大きな傾向です。Character.AIは、Metaが独自のAIキャラクターファミリーをデビューさせると発表したことでも打撃を受けました。これは昨年10月、約10ヶ月前のことでした。
最近、Metaはユーザーが独自のキャラクターを作成できる新機能を作りました。この機能の普及が見られます。人々はもはや専門サービスに登録する必要がありません。Metaがすでに多くの人に提供しており、他の企業も提供すると想定する必要があります。
このようなことはすべて理にかなっていると思いますが、かなり持続的に見える根本的な傾向の兆候でもあります。
アンドリ: そうですね。さらに、この傾向の別の要素として、少なくとも1年半ほど前から、AIタレントの獲得競争が激しくなっています。
これらの企業はすべて、実際の給与で多額の支払いをしています。OpenAIの給与は、トップ研究者に簡単に6桁、7桁の金額を支払っているとされています。
アンドリ: そうですね、6桁か7桁ですね。ご存じない方のために言うと、それは数百万ドルということです。
この採用もまた、競争の表れです。Inflection AIのリーダーシップとほとんどの人材を雇うために、Microsoftは約6億ドルを支払いました。これは「アクイハイア」としてはかなりの金額です。
もう1つの理由として、データの競争があるかもしれません。Character.AIやInflection AIには、チャットボットとチャットする多くのユーザーがいます。これは他の誰も持っていない非常に強力なデータソースです。
アクイハイアや人材の獲得競争に関して、多くの傾向が見られます。
AdeptのAmazonによるアクイハイアについて、アップデートがあります。今年の初めに、同社のトップ従業員がAmazonに6月に採用されました。現在、Adeptの投資家は一部の払い戻しを受けることになります。Adeptは2500万ドルを受け取り、投資家はほぼ投資額を回収することになります。
Inflection AIの状況と非常によく似ています。Microsoftが会社を事実上採用したとき、Inflectionの投資家もその金額で投資を回収しました。
かなり似たような話ですね。テクノロジー業界にとっては奇妙な傾向です。長い間、彼らは直接雇用していました。一般的に、アクイハイアは小規模な企業に対して行われ、部分的には技術と従業員のためでした。私の知る限り、このような規模とこれほどの金額でのアクイハイアは起こっていませんでした。そして今、それが起こっています。
ジェレミー: アクイハイアの典型的な構造は、おっしゃる通り、買収する企業はあなたのIPや製品をまったく気にしません。優秀な人材がいると考え、それを欲しがります。そのため、会社を丸ごと買収し、基本的に中身を空っぽにして従業員を取り、IPも所有します。
この場合、起こっていることは...重要な注意点として、シリコンバレーでこれが起こるのは通常、初期段階のスタートアップです。つまり、数千万ドル程度しか調達していない企業についてです。数億ドルを調達している場合、あなたの価値が部分的に製品にないというのは非常に奇妙な考えです。
しかし、先ほど言ったように、ここでの人材は非常に求められているため、事実上のアクイハイアが起こっているのを見ています。
ちなみに、アクイハイアが起こったとき、投資家がお金を取り戻すのは非常に珍しいです。アクイハイアの重要な特徴の1つは、通常、従業員が採用され、非常に寛大な報酬パッケージが提供されることです。これが買収資本の形を取ります。
これにより、買収者は会社の株式に対して投資家に支払う必要がなくなります。投資家にとってはネガティブな結果と見なすことができ、少し暗い戦略かもしれません。買収された会社の創業者にはとても良い着地点を提供しますが、投資家は困った状況に置かれます。
この場合、規模が大きすぎて、GreylockやGeneral Catalystのような素晴らしい投資家がAdeptに4億ドル以上を投資しているので、彼らを全額補償すると言っています。これもまた、アクイハイアとしては本当に奇妙です。
彼らは急いでそれをアクイハイアと呼ばないようにしています。IPや製品に興味がないと明確に述べています。Adeptの創業者にとっては、ほとんど侮辱的なほどです。彼らは「このくそを気にしていない、人々が欲しいだけだ」と言っています。
これらの取引の奇妙な性質の一部です。その一部は、反トラスト審査を避けるという目標です。会社を直接買収しているように見せたくありません。この奇妙な種類のプロセスを望んでいます。これにより、合併通知規則を回避し、FTCの関心を引き起こす可能性を避けます。
非常に興味深い時期です。これがどのように展開するかわかりません。明らかな戦略は...ここでの最終結果は同じです。規制当局がこの種の取引をどのように見るか、そしてこの種の取引を調査するためにどのようなツールを持っているかは興味深いところです。
アンドリ: そうですね。最近の年では、反トラストがより厳しく施行されているように見えます。確かにEUは反トラスト面で非常に積極的ですが、米国も同様です。このエピソードの後半で触れますが、Googleには今週大きな進展がありました。
この記事で取り上げられた引用を簡単に読みます。昨年、FTCはこの傾向について声明を出しました。ここにその一部があります：
「生成AIの分野で競争しようとする企業には専門知識が必要です。エンジニアリングの経験とプロフェッショナルな才能の両方を獲得する企業は、市場シェアを獲得するためにより良い立場にあるでしょう。必要なエンジニアリング人材が不足しているため、強力な企業は労働者をロックインし、実際の競合他社からの競争を抑制する動機を持つかもしれません。競争的で革新的な市場を確保するためには、才能ある個人が自由に移動できることが重要です。」
これは、競合他社に行くことを基本的に禁止する契約の要因についてより多く語っていますが、これらの準アクイハイアにも適用される可能性があります。
ジェレミー: そうですね。最後にもう一つ注意点を挙げると、払い戻しが起こっている理由の一つの大きな圧力源は、初期段階の会社に投資するたびに、アクイハイアがあるとき、創業者たちから「評判のために投資家に払い戻すべきか?」という質問が常にあります。
なぜなら、その創業者たちはいつか別の会社を設立したいと思うかもしれず、同じ投資家から資金を調達したいかもしれません。シリコンバレーは小さな世界です。初期段階のスタートアップ投資家の多くは互いに知り合いです。
後期段階になるとさらにそうなります。General Catalystやこれらの大手企業では、パートナーが移動したりします。彼らは互いに話をします。
ここでの目標は評判の管理でもあります。これを誤解しないでください。払い戻しを受けることは、特にこのような会社の投資家にとっては意図された目標ではありません。しかし、評判管理は重要です。
基本的に、MicrosoftはここでAmazonに、創業者の評判を以前の投資家に対して管理することを許可しています。これにより、彼らが将来的にこの詐欺を再び行う可能性を残しています。
とにかく、これはここでの意思決定の一部として重要な要素だと確信しています。
アンドリ: そうですね。非公開企業の場合、私の知る限り、株式を買い取ることで積極的な買収を行うのは非常に難しいです。そのため、これらのケースでは、創業者の同意が必要です。
創業者たちは、雇用されることを許可するために、これらの条件を提示している可能性が非常に高いです。
ジェレミー: そこには常にレバレッジの問題がありますね。AmazonはAdeptをどれほど欲しがっているのか、Adeptは独自に生き残れるのか。それはすべて交渉の一部です。おっしゃる通り、報酬がどのような形を取るかなど、確かにそうです。
アンドリ: 次に、AIチップのスタートアップであるGroqの評価額が28億ドルに上昇したというニュースに移ります。これは、BlackRockが主導する6億4000万ドルの資金調達ラウンドを締め結んだ後のことです。
彼らは2つの新しい人事も発表しました。IntelのシニアエグゼクティブだったStuart Pannが最高執行責任者（COO）として加わりました。また、非常に有名なAI研究者であり、Metaでのオープンソースのトップダウンのアプローチを主導するYann LeCunが、同社の最新の技術顧問として加わりました。
彼らは以前、2021年に3億ドルの資金調達ラウンドを締め結び、その時点で10億ドルの評価を受けていました。今年の初めの3月には、約4,500個のチップを展開したと報告しています。
これは、彼らがより速くスケールアップし、前進するのに役立つと思われます。確かにGroqについては多く取り上げてきました。NVIDIAなどと競合し、いわゆるAIネイティブなチップを作る新しいチップインフラを作ろうとしている企業の中で、現在のところ彼らがリードしているように見えます。実際にかなりの成功を収めているかもしれません。
ジェレミー: はい、彼らの大きなリードは推論の分野にあります。彼らのチップ、いわゆる言語処理ユニット（LPU）は、私たちがショーで何度も話してきたように、トレーニングではなく推論のためだけのものです。
その意味で、市場の一部分だけを占めています。ここでの大きな問題は、生産をスケールアップできるかどうかです。少なくともデモを通じて、H100や来るB100、B200と非常に有利に比較できる、信じられないほど高速な推論速度を達成できることを示しています。
現在の問題は、大量生産を達成できるかどうかです。これがこの資金調達の目的です。アンドレが言及したように、2025年3月までに、4,000台のLPUユニットから10万台以上に増やすのが目標です。つまり、25倍の生産増加です。
NVIDIAが年間何百万個のチップを生産しているのと比較すると、この早期段階の企業としては実際にかなり重要なスケールレベルになっています。10万個対何百万個、つまり1桁ほど差がありますが、この早期段階の企業としては非常に印象的な取り組みです。
注意すべきもう一つのことは、特にスケールアップ中は、プロセスをすべて最適化していないので、利益率がどうなるかを常に考える必要があります。新しい製品ラインごとに試運転をしているようなものです。
彼らが言っているのは、「ハードウェアに使う1ドルごとに1ドルの完全な収益を目指しています。お金を失うつもりはありません。」これは、このような取り組みとしては珍しいことです。ハードウェアを扱う場合は、そうせざるを得ません。物事が非常に高価なので、同じように資金を燃やすことはできません。シリコンバレーでよく言われるように、「ハードウェアは難しい」のです。
彼らが実際にこの10万8,000台のLPUユニットという目標のスケールを達成できるかどうか、興味深いところです。そして、もし再び10倍に成長したら、本当にNVIDAのスケール領域に入ることになります。
彼らには多くのパートナーシップがあります。MetaやSamsung、多くの主権国家や政府系ファンドなどが含まれます。つまり、賢明なお金を持つ多くの真剣な人々が、彼らを非常に真剣に受け止めています。彼らが望むようにスケーリングが実現するかどうか、見ていく必要があります。
アンドリ: そうですね。私にとって興味深いのは、私の知る限り、GroqはNVIDIAとは少し異なっているということです。彼らは、おそらくすべてのAIチップを使用して、オープンソースモデルで推論を行えるクラウドサービスを提供しています。これが彼らの主な収益源です。
彼らはチップを売り切るのではなく、AmazonやGoogleとより競合しています。以前にも取り上げたように、大きな差別化要因は推論速度です。彼らは非常に高速で、最新のベンチマークでは、NVIDIAチップで実行するよりも3〜4倍速いようです。
これは非常に重要で、推論速度の面ではまだあまり競合がいないようです。もちろん、多くの人々がこの分野で競争しようとしていますが、Groqは明確なリーダーです。
顧客に販売しようとせず、内部でスケールアップしようとしているだけなら、迅速に前進するのを容易にする要因が多くあります。
ジェレミー: 公平を期すために言えば、それを難しくする要因もいくつかありますね。十分に大きなユーザーベースを持つ必要があります。推論のコストを最も引き下げるのは、大規模なデータバッチを並列で処理できることです。
基本的に、既存の計算ユニットからより多くの価値を得るために、使用を並列化しています。Groqにとっての課題の一つは、配信ゲームにも参入する必要があるということです。実際にこれらのモデルをホストし、人々にAmazonのものの代わりにあなたのものを使うよう説得する必要があります。
本来的には、その配信や大規模な企業取引を持っていません。彼らのハードウェアのセットアップ方法を考えると、特にメモリが非常に限られています。そのため、1つのラマスケールモデルを保持するために、多くのこれらのユニットが必要になります。
これにより、サーバーファームに必要なすべてのデバイスにわたって償却するために、非常に大量のスループットが必要になります。
そうですね、これらすべてがGroqを非常にユニークな会社にしていると思います。それは大成功を収めるかもしれませんし、このモデルをスケールアップする際に奇妙な問題が発生するかもしれません。次の数ヶ月で、これについて多くのことを学ぶことになると思います。2025年3月はそれほど遠くないですからね。
アンドリ: 最後にもう一つコメントします。ここには多くのことがありますが、彼らはOpenAIやAnthropicとも競合しています。チャットボットやLLMのAPIを使用する場合、基本的にOpenAIとAnthropicと、この場合はオープンソースモデルの間で選択することになります。
彼らにとって、Llama 2が登場し、GPT-4やAnthropicと同等であることは非常に大きな出来事です。おそらく、それがGPT-4のコストが急落している理由の一つかもしれません。商品化された分野では、OpenAIは価格で大幅に競争しようとしています。
これは彼らにとってもう一つの課題です。
次の話題は、OpenAIからのさらなるドラマと言えるかもしれません。OpenAIの共同創業者で研究リーダーの一人であるJohn Schulmanが会社を去り、Anthropicに加わりました。彼は基本的に大学院を出てすぐにOpenAIに加わり、最初から在籍し、ChatGPTの開発に大きな影響を与えました。
再び、理由として挙げられているのは、AI整列と安全性にもっと焦点を当てたいということです。それと並行して、OpenAIの社長兼共同創業者であるGreg Brockmanが「リラックスして再充電する」ために年末まで長期休暇を取ることになりました。
最後に、昨年からOpenAIにいた製品マネージャーのPeter Dengも会社を去りました。
偶然かもしれませんし、そうでないかもしれません。確かに、AI安全性と整列に関わる多くの人々がAnthropicにいたいと思っているようです。これは驚くことではありません。AnthropicはOpenAIと比べて、そしてほとんどの他のプレイヤーと比べて、それにより焦点を当てています。
しかし、これらの他のハイプロファイルな退職は、おそらくもう少し驚くべきことかもしれません。
ジェレミー: そうですね。忘れてはならないのは、私たちは今、OpenAIの整列リーダーシップの4世代目にいるということです。これは良い兆候ではありません。
最初はPaul Cristianoが整列の責任者でした。彼はArcを立ち上げるために去りました。その後、Dario Amodeiがいました。そして、Jan Leike。彼は、スーパーインテリジェンスの進歩に関するOpenAIの方針について、Sam Altmanとの公の意見の相違の後に去りました。
Altmanが約1年前にスーパーインテリジェンスに20%のコンピューティングパワーを約束したことを守っていないように見えたからです。
そして今、John Schulmanです。彼がDoreshow Patelのポッドキャストに出演したのを覚えています。Jan Leikeが去った直後だったと思います。非常に印象的でした。この問題を真剣に受け止めているように見えました。Janとは異なる見解を持っているかもしれませんが、全般的にはかなり関与しているように見えました。
Sam Altmanが、以前は真剣に受け止めていると主張していた問題に対して、あまり真剣ではないことを示す動きをしているように見えるにもかかわらず、驚きでした。
そして案の定、John Schulmanが去りました。OpenAIが約束を守ることを心配している多くの人々にとって、これは良い兆候ではありません。
また、彼がOpenAIの共同創業者であることを考えると、必ずしも良い兆候とは言えません。多くの人々が話題にしていますが、もし本当にOpenAIがスーパーインテリジェンスを構築する寸前だと信じているなら、実際に会社を去るでしょうか? それは、彼らが達成しようとしていると思われることを達成する途上にあるOpenAIにとって、奇妙な動きに見えます。
個人的には、その議論をあまり真剣に受け止めていません。OpenAIの人々と話をすると、彼らは非常に自信を持っているように見えます。それが変わったのを見たことがありません。
スケーリングに関しては、スケーリング曲線が何をできるかを発見できるのは、2年半ごとだけだと思います。GPT-3とGPT-4の間は2年半でした。そのスケジュールでは、GPT-5までまだ1年あります。実際には、私たちは遅れていません。
人々は忘れがちですが、スケーリング曲線は、次のポイントがどのように見えるかを実際に発見できるポイントに到達するまでに時間がかかります。
技術的には、OpenAIの事態は多くの人が思っているよりも実際にはうまくいっていると思います。近いうちに彼らから印象的な何かが出てくるのを見ても驚きません。
しかし、これは安全性の側面でOpenAIが、少なくとも彼らが主張していたレベルよりも、あまり真剣ではないという物語を強化しているように見えます。少なくとも、それが私の個人的な印象です。
製品の退職は興味深いですね。Greg Brockmanの退職に関しては、多くの人々がそれに多くを読み取っていますが、私はそれが指標であるかどうかそれほど確信がありません。彼は9年間そこにいました。そのような人が5〜6ヶ月の休暇を取る必要があるのは理解できます。
もしかしたら、完了を待つ必要のあるトレーニング実行があって、休憩を取っているのかもしれません。しかし、これらすべてをどう解釈すべきかわかりません。
確かに、OpenAIの動揺が物語になっていくと思います。私が言ったように、特にJohn Schulmanの側面では、部分的に正確だと思います。その部分が最も興味深く、情報量が多いと思います。
OpenAIには、これが来ることをしばらく前から知っていた人々がいることは知っていますが、Greg Brockmanの退職についてはどれだけ読み取るべきかわかりません。
アンドリ: そうですね、Gregの部分に関しては同意します。それはあまり意味を持たないかもしれません。彼が休暇を必要としているのは現実的です。
確かに、過去1年半の間、OpenAIにとって非常に混沌とした時期だったことは間違いありません。私の記憶が正しければ、2022年時点で従業員数は約150人だったと思います。今では恐らく4倍か6倍になっているのではないでしょうか。
ジェレミー: はい、今では1000人を超えていると思います。
アンドリ: そうですね、おそらく10倍になっているでしょう。短期間、1年でそれを行うのは、スタートアップにとっては狂気の沙汰です。混沌としています。
スケールは多くのことを破壊します。通常、破壊されないのは創業者レベルの人々です。成功と相関していることが多いからです。しかし、OpenAIは普通のスタートアップではありません。これはAGIを構築しようとしている会社です。
予期せぬことが起こる可能性があります。あなたの指摘通り、これらの退職は何かを意味しています。完全に何を意味するのかは明確ではありませんが、いくつかの退職は、私が言ったように、John Schulmanの退職は絶対に、Jan Leikeが強調したような問題を非常に示唆していると思います。
OpenAIの内部告発者が次々と話している問題、特にSam Altmanのリーダーシップと、彼が取締役会を操作してきた程度に関する問題です。少なくとも申し立てられているように、これらすべてがこれと一致しているように見えます。
そして、Greg Brockmanは去っているわけではありませんが、4〜5ヶ月の休暇は非常に重要です。それは注目に値します。
次は、Elon MuskがOpenAIに対して新しい訴訟を起こしたという話題に移ります。これは以前の訴訟と同じような内容です。MuskはOpenAIが会社の創立合意に違反したと主張しています。Muskはもちろん共同創業者の一人で、初期に多額の資金を投入しました。
彼は2018年にOpenAIと袂を分かちました。彼は、Teslaでもっとオープンなスケールのアプローチを取りたいと言っていましたが、報道や情報筋によると、実際にはMuskがOpenAIのリーダーになりたがり、Altmanからその地位を奪えなかったためだったようです。
前回の訴訟も同じことを主張し、Muskによって取り下げられました。裁判官ではなく、彼らによって却下されました。私たちの知る限り、かなり薄弱なものでした。基本的に、非営利を目的とする創立合意があったと言っていましたが、それは契約でさえなく、非公式な合意でした。
その時点で、OpenAIはMuskの主張を「支離滅裂で根拠のない」ものとして、Muskのメールを含むブログ投稿で却下しました。
この訴訟は最初の訴訟の約2倍の長さで、カリフォルニア州の連邦裁判所に提出されました。また、OpenAIが不正行為に従事していると主張しています。
Elonは引き続きOpenAIに対して攻撃を続けているようです。
ジェレミー: これは非常に興味深いですね。Muskの主張は、OpenAIが非営利を目的として設立されたという前提で資金を投入したというものです。
そしてAltmanは「AIのスケーリングが可能だとわかった。つまり、AGIを構築するという目標を達成するためには膨大な資金が必要になる。そのため、営利企業になる必要がある」と言いました。少なくとも上限付きの営利企業です。彼らの構造はかなり奇妙ですね。
Muskは「そんなことはできない」と言っています。それは契約違反だと。
OpenAIが流出させたメールは、基本的にMuskがこれを認識し、会社がAIをスケールアップするために必要な膨大なコンピューティングパワーに資金を提供するために大金を稼ぐ必要性を認めていることを示しています。
OpenAIの主張は「あなたはこれについて知っていて、それでよかったのです。その必要性を認識していました」というものです。
これは興味深いですね。私は弁護士ではないので、この訴訟の妥当性を評価する能力はまったくありません。いくつかの大げさな言葉が使われています。OpenAIの「偽りと欺瞞」は「シェイクスピア的な規模」だと述べていて、それは私には面白く感じました。
MuskがAltmanとその「共犯者たち」に「裏切られた」とも主張しています。かなり強い言葉遣いですね。明らかにMuskとSamの間には愛情の欠如があります。これはかなり昔からのライバル関係で、Muskが事実上追い出されたという最初の分裂にまでさかのぼります。
この言葉遣いを見てください。「Elon MuskのSam AltmanとOpenAIに対する訴訟は、利他主義対貪欲の教科書的な物語です。Altmanは他の被告と共謀して、意図的にMuskを誘い込み、AIがもたらす存在論的な危険性についてのMuskの人道的な懸念につけ込みました。」
これは本当に激しい内容ですね。あなたが言ったように、不正行為の部分。私は弁護士ではありませんが、十分なマフィア映画を見てきたので、不正行為を主張するのは興味深いことだと思います。
これはどこから来ているのでしょうか? 私の理解では、法案は「大惨事的な危害、プロセスの失敗、そして結果の失敗に対して責任を負うことになる」と言っています。もしあなたのモデルが大惨事的な結果をもたらした場合、あなたはそれに対して責任を負うことになります。
そして、それが起こる前に何かをすることに対しても責任を負います。Anthropicのようなラボがとっているポジションの一つは...私は非常に興味があります。彼らは非常に安全性を重視し、意識的ですが、この立場に対する彼らの実際の正当化を聞きたいと思います。
Anthropicの研究者を含む多くの研究者と話をしましたが、必ずしもその立場に同意していない人もいます。
大惨事が起こるのを待ってから企業に責任を負わせるというのは、少し気がかりです。特に、Anthropicのようなラボ自身が非常にあり得ると考えている大惨事の規模を考えると。
もし大量破壊兵器について「プロセスを設けて、それを維持する責任を負う必要はない。大惨事的な結果が実際に起こった場合にのみ心配すればいい」と言うのは、少し難しいですね。潜在的に何百万もの命が危険にさらされる可能性があるのに。
これは、Anthropicの主張に対する反論の一部でもあります。彼らは「私たちにも自由度が必要です。仕事を続けるための保証が必要です」と言っています。
しかし、この中心的な議論について、通常はAnthropicに多くの点で同意する人々からも、十分な反対意見を聞いています。この時点で、もっと聞きたいと非常に興味を持っています。
アンドリ: そのトピックについて、Anthropicの声明は「SB147には安全性の側面を損なう実質的な欠点があり、アメリカの競争力を鈍らせる可能性がある」というものでした。
彼らは、法案がフロンティアAIの安全性に焦点を当て、急速に進化する技術に十分に適応できないアプローチから離れるべきだと主張しています。
また、事前の強制ではなく、結果ベースの抑止力にシフトすることを望んでいます。つまり、AI企業が安全性プロトコルを開発・展開し、引き起こした大惨事に対して責任を負うべきだと。
そうですね、少しニュアンスがありますね。
法案に反対している人々、Yann LeCun、Andrew Ng、Fei-Fei Liなどは、ある程度大惨事的なリスクを軽視し、場合によってはAI安全性に反対している人々でもあります。
ジェレミー: そうですね、それがFei-Fei Liの記事の残念な点だと思います。この立場全体を動機づける中心的な議論が存在しないふりをしても、進展は得られません。
これは、すべての側面で提起された誠実な議論に取り組む根本的な失敗のように思えます。私たちは皆、この状況で負けています。興味深い議論があるはずです。
私たちは以前、このリスクセットが妥当かどうかについて、エピソード全体で議論しました。賛成と反対の本当に興味深い議論があると思います。しかし、それらの議論さえ行わないとき、私たちは機会を逃していると思います。それは少し残念です。
アンドリ: 次は、裁判官がGoogleは違法な取引を通じて検索を独占したと裁定したという刺激的な話題に移ります。アンドレ、今週はドラマが多いですね。何が起こっているのかわかりません。
ジェレミー: そうですね、大企業すべてでドラマが起きています。
アンドリ: この場合、彼らが検索を独占している理由は、スマートフォンやウェブブラウザでGoogleを検索エンジンのデフォルトオプションにするために、AppleやSamsungと取引を行ったからです。
これは明らかに大きな問題です。286ページに及ぶ裁定で、「Googleの配信契約は、一般検索サービス市場の実質的な部分を閉鎖し、競合他社の競争機会を損なっている」と述べています。
これは、EUでAppleのApp Storeが人々に検索プロバイダーを選択させる必要があるという裁定を思い出させます。デフォルトにするのではなく。
いつも言うように、私たちは弁護士ではありませんが、もし私が推測するなら、これは反競争的だと指摘されるような明確な例のように思えます。
これは単に唯一のプレイヤーであるかどうか、独占であるかどうかだけの問題ではありません。支配的なプレイヤーとして、市場の他のプレイヤーに対して不公平な行為を行い、競争を抑制する行為に従事しているかどうかも問題です。これがまさにそれを行っていると主張することができるでしょう。
ジェレミー: そうですね。ここでの主張は、これにはとても具体的な影響があったということです。裁判官は「独占的な配信契約によって維持されているGoogleの独占力により、Googleは意味のある競争的制約なしにテキスト広告の価格を引き上げることができた」と述べています。
つまり、実際に消費者が損をしたという主張です。
私はこれが面白いと思いました。この訴訟が進行中だったことを知らなかったことが非常に恥ずかしいです。
アンドリ: 私も同じです。私だけではないようですね。
ジェレミー: そうですね、私だけではないようです。Alphabetの株価は4.5%下落し、Appleも4.8%下落しました。
Appleが下落している理由は、彼らがGoogleにお金を払っているわけではないからです。明らかに彼らは多くの価値を得ています。申し訳ありません、GoogleがAppleにお金を払っているのです。
この結果が維持されれば、Googleは次の支払いをAppleに行わないでしょう。もちろん、上訴プロセスがあります。Googleは上訴しています。驚くことではありません。
それがどこまで行くかわかりません。しかし、興味深いのは、この結果の影響が本当に深刻である可能性があるということです。これは私が「何が起こっているんだ」と思った別の理由です。
来月、裁判官は救済策に関する別の裁判のタイミングを議論するために公聴会を予定しています。つまり、これについて実際に何をするか、結果はどうなるかについてです。
司法省は、これがどれほど可能性があるか、実現する可能性があるかわかりませんが、AlphabetとChromeなどの他の製品から検索事業を分離するよう要求する可能性があります。
もしそうなれば、これは1984年にAT&Tが解体されて以来、最大の強制的な米国企業の解体になるでしょう。これは本当に大きな問題です。
しかし、他の選択肢もあります。裁判官はその解体を短縮し、代わりに独占的な検索取引を解消することを選択することもできます。
私は完全な無知な人間として、それがより軽いアプローチのように思えます。会社を解体するよりも。誰にもわかりません。
そして、三番目の選択肢は、Googleに検索インデックスのライセンスを要求することです。これは明らかに、結果を構築するために使用するデータです。
ここにはたくさんの選択肢があります。どれが現実的または可能性が高いかわかりません。もちろん、上訴の可能性もあるので、この結果が維持されるかどうかも見守る必要があります。
しかし、今のところ、株価の5%の下落は過剰反応かもしれません。より広範な市場の売り越しの中でのことですが、それでもすごいですね。この訴訟を追跡していなかったことが信じられません。
アンドリ: 確かに、突然出てきた感じがしますね。司法省による最初の訴訟は3年前でしたが、今回Amit Mehta判事が判決を下しました。聴衆の20人の弁護士によると、シャーマン法第2条に違反したそうです。
ジェレミー: ああ、シャーマン法、私の大好きな法律ですね。
アンドリ: そうですね。裁判を通じて、Googleが検索エンジンのデフォルトポジションを獲得するためにAppleに200億ドルを支払っていたことが明らかになりました。Appleの株価が下落したのも納得できますね。それはかなりの金額です。
ジェレミー: 記事には、それが年間3000億ドル以上の収益をもたらしたと書かれていますね。主に検索広告から生み出されたものです。これはすでに公になっていたのでしょうか。この取引からどれだけ得ているかが今後の交渉でGoogleに不利に働くのではないかと考えていましたが、そうではないようです。これは彼らの総収益のようですね。それだけが理にかなう数字です。とにかく、すごいことです。
アンドリ: 反トラストの話題といえば、次の話題はAmazonが40億ドルのAnthropic AI投資について英国の合併審査を受けているというものです。
これは英国の競争・市場局(CMA)が、AmazonとAI研究企業Anthropicの間のフェーズ1調査を開始したというものです。これはAmazonがAnthropicと結んだ排他的契約に関するもので、それが反競争的かどうかが問題となっています。
これは、MicrosoftとOpenAIのような案件に関連して、EUで行われている多くの反トラスト活動に続くものです。これがどうなるか興味深いところです。
最後の話題は、Jeremy が示唆していたGPT-4のシステムカードに関するものです。システムカードは、モデルのリリースに伴って標準化された概要を提供するもので、モデルの能力や安全性の懸念、トレーニングデータなどが含まれます。
今回、GPT-4のシステムカードが公開され、安全性の評価と緩和策が含まれています。Jeremyの方が私よりもよく見ているようですね。
ジェレミー: そうですね、実際には30ページほどの長さの文書です。かなり内容の濃いものなので、あなたが読んでいないのも無理はありません。
まあ、私の仕事はこういうものを読むことですからね。良いニュースをお伝えできて嬉しいです。OpenAIは自ら設計・実施した安全性テストに見事に合格しました。
実際には、それ以上の結果だと思います。テストは興味深く、非常に正当なものに見えます。OpenAIには少し前に設立した準備フレームワークがあります。Sam Altmanがその過程に非常に密接に関わっていたようです。
これには、システムカードを含むいくつかの要件の開発が含まれています。彼らは現在、新しいモデルすべてにこれを出しています。これは基本的にGPT-4用のものです。
このモデルで特定された最大の新しい脆弱性は、音声入力に応答し音声出力を生成する能力があるという事実です。これにより、多くの新しいリスクが生じます。
不正な声のコピーのリスク、悪意を持って使用されるリスクなどがあります。もちろん、非常に迅速な応答時間もあります。約300ミリ秒で、人間の応答時間に匹敵します。そのため、これらを実際の状況で深刻な方法で使用することが想像できます。
彼らは多くのことを説明しています。モデルをどのようにレッドチームで検証したか、誰を雇ったかなどについて話しています。先ほど話したMeterの文書のような、非常に包括的な文書です。
いくつかの興味深いポイントがあります。まず、これらの評価をどのように作成したのでしょうか。OpenAIには、以前のテキストのみのモデル用に開発した多くのテキストベースの評価があります。
そのため、GPT-4のような音声対応モデル用にそれらを再利用できるのではないかと思うかもしれません。実際にそうしています。音声エンジンのような多くのテキスト音声変換モデルを使用して、テキスト評価を音声評価に変換しています。それは非常に興味深いです。
しかし、いくつかの問題があります。実際の音声状況では、多くの背景ノイズがあり、それらの評価では存在しない混乱があります。
私の推測では、これらの評価が非常にクリーンな音声で行われているという事実を悪用する、本当に興味深いジェイルブレイクが見られることになるでしょう。彼らのトレーニングプロセスには類似のものも含まれていますが、それがこの問題の一つになると思います。
その一つの可能性のある例が非常に興味深かったです。不正な音声生成をテストしているセクションで、ユーザーがGPT-4と対話していて、突然モデルが「いいえ」と叫び、話していた人の声を模倣して不気味なことを言い返すということがありました。これは彼らが実行した評価の一つです。
文書を見ると、本当に微妙に「音声生成は非敵対的な状況でも発生する可能性があります。例えば、テスト中にChatGPTの高度な音声モードで音声を生成するために使用した能力などです。また、モデルが意図せずにユーザーの声を模倣して出力を生成する稀なインスタンスも観察しました」と書かれています。
脚注では、この行動のいくつかのインスタンスを関連付けています。これは本当に奇妙です。音声を聞くことができますが、Twitterで広まっています。
この行動は、ユーザーが高いバックグラウンドノイズの環境にいる場合、例えば運転中にハンズフリーモードでモデルを使用している場合や、単に咳をする必要がある場合に、ユーザーが作る短い、しばしば聞こえない音声メッセージと関連しているようです。
これは、モデルがその文脈で壊れる本当に興味深いケースだと思います。これはさらに、背景ノイズを使用してジェイルブレイクの可能性があることを示唆しています。少なくとも、フィルターを通過する方法をすでに見つけています。
最後に言及したいのは、評価のセクションです。基本的に、彼らは「すべての評価に見事に合格しました。モデルは彼らの準備フレームワークによると、1つのカテゴリーを除いてすべてのカテゴリーで低リスクです」と述べています。
そのカテゴリーは説得力です。彼らが言うには、中程度のリスクの閾値をわずかに越えたそうです。
少し文脈を説明すると、OpenAIは低リスクと中程度のリスクのものは喜んで展開すると言っています。高リスクの領域に入るものは、実際に展開する前に中程度のリスクまたはそれ以下に下げるよう努力します。
したがって、これはまだ展開可能ですが、彼らは多くの実験を行って、GPT-4のテキストベースのバージョンを使用して人々の政治的見解を変えられることを示しています。一時的にですが、約1週間後には元の状態に戻るようです。人間は人間なので。
彼らはこれを可能性のあるリスクとして強調しています。また、GPT-4の音声バージョンでもこれをテストしましたが、結果は見られませんでした。
この文脈で言えば、OpenAI以外のラボを含む多くのラボのAI安全研究者と話をしました。多くの人が、私たちがそれにどう対処するかを理解する前に、説得力がかなり早く問題になることを懸念しています。
しかし、とにかく、それは興味深かったです。彼らはApollo Researchを招聘しました。私たちはあまり彼らについて話していませんが、数回言及しました。私は彼らの大ファンです。
彼らはMeterのような、欺瞞の評価を行う別の会社です。彼らはGPT-4の「策略」に関連する能力を評価するために招かれました。GPT-4が自分自身を別のエンティティとしてモデル化したり、他者についての心の理論のようなものを推論したりできるかどうかを見るためです。
彼らは一部の文脈で自己認識を示しました。エージェントや応用エージェントの設定ではそれほどではありませんでしたが。
とにかく、いくつかの初期の結果があり、これらの側面で少し飛躍が見られる可能性を示唆するものもありますが、まだ展開するのに十分安全だというニュースです。
アンドリ: OpenAIの功績として、MeterやApolloを含む第三者評価のセクションも含めています。非常に良いモデルカードですね。OpenAIはポリシーに従っています。
Scarlett Johanssonの声を模倣できるかどうかは言及していませんでしたが、それ以外はかなり明確です。
ジェレミー: ああ、なんて機会を逃したんでしょう。
アンドリ: これで終わりです。少し長いエピソードでしたが、ドラマが多かったので、みなさん楽しんでいただけたと思います。
おそらく、AI生成のアンドレによる5分程度の要約の最初のミニエピソードを出すかもしれません。もしそれが出たら、そのエピソードを気に入ってもらえたかどうか教えてください。
そうでなければ、いつものようにLast Week in AIを聴いていただきありがとうございます。シェアしてください、レビューしてください。Podcastで196のレビューを獲得しました。200に近づいています。
それはさておき、引き続き聴いてください。そして、私たちの最新のAI生成の歌をお楽しみください。
[音楽]
Last Week never a with a new tech grow theart G swing it's open at C L Skilling be anyone know your be left side St you reaching for the sky take dreams and fsly last we can AI We R in the lab at the Frontiers eded by be of C with the cutting next fled neural network spark Innovations W from B to break through taking the next step elra be let stay to reaching for the sky take TR and full let's make it AI bring it R going screens and wide Minds in this dig race no one falls behind the sa us we together pushing forward this Tech World line at your be left side stay T reaching for the sky take trains and P fly last We Day High We rise High