イーロン・マスクは最近、投資家キャシー・ウッドとともに、2024年に予定されているさまざまな開発についてTwitterスペースで議論しました。彼らはGrok AIやオープンソースAIなどについて語り、AI分野において重要な情報を共有しました。マスクはオープンソースAIの進展について言及し、今後6ヶ月以内にGPT-4の市場リーダーとしての地位が変わる可能性についても触れました。また、テスラに関する話題やビットコインの未来についても語り、これらの話題は多くの議論を呼びそうです。マスクはAIのオープンソース化とクローズドソース化についての見解を示し、彼自身がオープンソースを好む傾向にあることを明らかにしました。さらに、彼はテスラがリーディングなAI企業であり、リアルワールドAIの分野で圧倒的なリーダーであると強調しました。
公開日:2023年12月24日
※動画を再生してから読むのがオススメです。
イーロン・マスクが最近ツイッターで、キャシー・ウッドという別の投資家と2024年に起こる将来の展開について議論しました。
Grok AIやオープンソースAIなど、AI分野に携わる人なら知っておくべきことがたくさんあります。
オープンソースAIに関して人々がツイッターで議論していることのいくつかに触れているので、本当に興味深い講演だと思います。
彼はまた、オープンソースAIのタイムラインについても話しており、GPT-4が我々が望むようなマーケットリーダーではなくなるかもしれないので、6ヶ月程度で状況が変わるかもしれないとも話しています。
ということで、このツイッター・スペースの音声を楽しんでいただければ幸いです。
彼が実際にテスラについて話している完全なクリップへのリンクを残しておきますが、これは、彼がAIについて話している部分だけに超特化したスーパーカットバージョンであり、皆さんに関連するものです。
それを踏まえまして。
基本的にはGrokが話しているようですが、人々はAIの最新の進展について聞きたがっているようです。
つまり、テスラのAI技術において、我々は確かに進歩しています。例えば、FSD12やロボタクシーの次世代プラットフォームなどです。
また、オプティマス・プロジェクトに関する同社の計画についても知りたがっています。
さらに、イーロン・マスクのAI分野に対する考えや、ビットコインの将来に対する考えにも多くの好奇心が集まっています。
少し繰り返しの多いAIだったと思いますが、これらの話題はきっと魅力的な議論を巻き起こすでしょう。
それがGrokの特徴です。
さて、Grok、なかなかいいですね。
いいですね。
もし15分以上話したいのであれば、私はあなたが思っているよりも時間に余裕があります。
素晴らしいですね。
つまり、私はAIについて何時間でも話すことができるので、AIについてここで考えを絞り出そうとしているんです。
チャーリーもブレットもAIに精通しているし、フランクもそうです。
そしてもちろん、ターシャはオートノミーに関する我々の仕事をこなしています。
しかし、私たちが非常に興味を持っていることのひとつは、オープンソースとクローズドAIの比較です。
フランクとジョセフが我々のチームで作成したチャートをご覧になったかどうかわかりませんが、彼らは線を引きました。
彼らは基本的に、クローズドまたは民間のAI企業やモデル、大規模な言語モデルのパフォーマンス向上を計算しました。
そしてオープンなもの。
オープンはクローズドの後塵を拝しているが、クローズドよりも急ピッチで性能が向上しています。
AIに関して、一般的にオープンとクローズドについてどうお考えですか?
もちろんです。
多くの人が知っていると思いますが、私はOpenAIの創設に貢献しました。
OpenAIの "Open "はオープンソースという意味です。
そうです。
オープンソースの非営利団体としてスタートしました。
私がこの組織を作ろうと思った理由は、Google DeepMindへの対抗軸を確立するためでした。
Google DeepMindは、おそらくAIのトップクラスの人材の3分の2以上と、もちろん莫大なコンピューティング能力と資金力を持っていました。
当時、私はラリー・ペイジと親しかったです。
しかし、彼がAIの安全性を真剣に考えているとは私には思えませんでした。
そこで私は、先ほど言ったように、Google DeepMindに対抗する対抗馬が必要だと感じました。
率直に言って、この会社を設立するのに役立ったのは、イリヤ・サツキヴァーをリクルートしたことです。イリヤは何度か考えを変え、最終的にオープンAIに来ることを決めました。
そして、私はそのリクルート合戦に勝利したのです。
ラリー・ペイジが私と友達でなくなったのは、率直に言ってそのせいです。
しかし今、皮肉にも、運命は皮肉を愛していますので、OpenAIは超クローズドソースで、最大限の利益を追求しています。
『最大限の利益のためのクローズドAI』と名前を変えるべきです。
より正確ではありません。
というのも、これは文字通り、始まった経緯とは正反対だからです。
私は一般的にオープンソースを支持するバイアスがあると思います。
Xプラットフォームではアルゴリズムをオープンソース化しています。
例えば、コミュニティ・ノードでは、アルゴリズムだけでなく、すべてのデータもオープンソースにしています。
ですから、ノードがどのように作られたかを正確に見ることができます。
第三者による監査も可能です。
何も謎はありません。
大規模な言語モデルに関するオープンソースの分かりにくい点は、それが単純ではないということです。
このことは、単にコードをオープンソースにするという議論の中で失われてきたと思います。
オープンソースは、パラメーターの重み付けやデータなど、グレーの濃淡があります。
そのスペクトルのすべてがある。
私は、このことが議論から失われていると思います。
だから、それを聞けてうれしいよ。
実際、コードはほとんどありません。
実際の伝統的なソフトウェアの行はほとんどない。
もちろん、最初のレベルでは非常に少ないです。驚くほど少ない行数のコードです。
つまり、それは単に巨大な重みファイルと、あなたのハイパーパラメータの数値だけなのです。
基本的には巨大なカンマ区切りの値ファイルなんだ。
だから私はいつも、もしかしたら私たちのデジタルゴッドはCSVファイルになるかもしれない、と考えるのが面白いんだ。
そして、新しいCSVファイルを作って、そのファイルはもっと重みがあって、重みもより良いものになる。
そして、古いものを削除する。つまり、AIは常に進化し、以前の自分を削除しているんだ。
つまり、巨大なエクセルファイルを拝むことになる。
それはおそらく、とても大きな、そう、たくさんのセルが必要なんだ。
でも、実際はただの数字の束なんだ。
そして、それらの数字は、FP16からFP32へ、FP16から16ビットへ、8ビットへと、その大きさも小さくなっているんですよ。
そして今は、ほとんどが4つになる傾向にあるようだ。
それほど大きな数ではありません。
答えているかどうかはわかりませんが、おそらく質問には答えていないと思います。しかし、クローズドソースはオープンソースと比べて、時間的な観点からはそれほど進んでいないということは真実だと思います。
しかし、仮にオープンソースが6ヶ月だとすると、AIの進歩の速さは計り知れませんから、6ヶ月というのは実際には膨大な時間です。
つまり、少なくとも指数関数的に改善する状況でのデルタは、6ヶ月が永遠のように感じられると思います。
だから、私はクローズドの方がオープンよりも、いつでも意味のある程度で優れていると思います。
前に話していた真実と非真実に関する質問を考えると、10年後にはAIは今の私たちのいる場所から真実を向上させるか、それとも悪化させるか、どちらだと思いますか?
少なくともGrokについて話すと、私はそれが重要な真実の向上者になると思います。
それが私たちの目標です。最大限の真実を求め、最大限の好奇心を持ち、知覚された現実と実際の現実との間のエラーを最小限に抑え、常にそのエラーを認識し、自信を持ちすぎないことです。
だから、真実を競うことになると思いますし、人々は最も正確だと思う方に傾くでしょう。
そして、最大の正確さを目指す少なくとも1つのAIが存在する場合、それは他のすべてのAIを最大の正確さを目指すように推進すると思います。
Xプラットフォーム(旧Twitter)と同様に、Xが最大の真実と正確さを追求するとすれば、他の人々もそれに追随せざるを得なくなります。
他のプラットフォームもそうしなければならなくなる。
真実の競争はCSV間で行われ、それは私たちの論文の一つです。
テスラは最も過小評価されているAI企業のひとつです。
それは、自律的にフィードするために持っている膨大なデータの量のためです。
その点についての解説があるかどうかはわかりません。なぜなら、これらのLLM企業の台頭に伴い、基本的には独自のデータではなく利用可能なデータを使用しているため、AIの恩恵をうまく活用できるテスラなどの企業には巨大な独自のデータプールがあるように思われますが、次のフロンティアになるでしょう。
はい、正確な説明だと思います。
テスラは世界でもトップクラスのAI企業の一つであり、現実世界のAIに関しては、明らかに圧倒的なリーダーです。
大規模言語モデルLarge Language Model LLMという言葉は乱用されていますが、私が見ているのは、インテリジェンスへの収束です。
あの、実は、テスラは、完全自動運転を実現するためには、車にBabyAGIが必要なんですよ。なぜなら、現実を理解する必要があり、現実は複雑で混沌としているからです。
なぜなら、現実を理解する必要があり、現実は厄介で複雑だからです。副次的な効果として、車のAIは、例えば、あらゆる言語の現実を理解するためのちょっとした副次的な効果として、任意の科学を読むことができなければなりません。
ですので、すべてが異なるレイヤーのトランスフォーマーと拡散に帰結していると思います。
そして、その変容と拡散をどのように組み合わせるのか?
これが、私がXプラットフォームで作った、ニッチAIのジョークです。
2032年にはトランスフォーマーとディフュージョン、どちらが大統領になると思いますか?
テスラの完全自動運転のためにフルスタックAIに切り替えたことで、問題がいつ解決するかという点で、あなたにとって予測誤差のようなものが減ると思いますか?
有名な話ですが、あなたは数年前から1年先だと言っています。
目の前の状況によっては、人間の介入なしで進むことができる性能の特定の閾値を超えるときに、より良い展望が得られると思いますか?
ええ、つまり、クルマはすでに信じられないほど自動運転が上手なんです。
特に、カリフォルニアで運転する場合、一般的には雨や雪などがほとんどないため、比較的簡単な運転です。
テスラのエンジニアリングは主にカリフォルニアにあるので、カリフォルニアを解決するためにオーバーフィットすることになります。
しかし、例えばパロアルト周辺をドライブするだけなら、現時点で介入が必要になる確率は信じられないほど低い。
実際、サンフランシスコを走っていても、この時点で介入が必要になる確率は非常に低い。
つまり、誰かがシステムを監視する必要がなくなるまでに、信頼性が何ナインになるか、というような9の行進をしているわけです。
GMがクルーズを基本的にシャットダウンしたのは、とても興味深いことです。
私たちは、そんなことはあり得ないと思っていました。
でも、私たちはそれを知らなかった。
今はそう考えているんですか?
まあ、トランスフォーマーが変革をもたらすというのは確かに事実です。
そう、かなりの人がトランスフォーマーを使っている。
それは本当に、どれくらいのトランスフォーマーを使っているかによるんですよ。
自己回帰的なトランスフォーマーは、メモリ帯域幅を非常に消費します。
意味のある方法でAIを行うには、トランスフォーマーなしでは本当にできないとはっきり言えません。
拡散も非常に重要です。
つまり、AGIはトランスフォーマーとディフュージョンの組み合わせということになりますね。
それは興味深い。
拡散は、トランスフォーマーが必要なことで、必ずしもまだ得意ではないこと、例えば、現在の状態ではなく、計画や記憶のようなことで、イーロンを助けてくれるのでしょうか?
トランスフォーマーはAIのすべての側面に重要です。
ええ、つまり、コンピューターは物事を記憶するのがとても得意なんです。
例えば、あなたの携帯電話は、最後のピクセルまで撮影したビデオを覚えていますが、ほとんどの人間は先週会った人のことを覚えていません。
ですので、メモリは簡単です。つまり、既にコンピュータにメモリを外部委託しているという意味です。人間の知識のどれくらいがデジタル形式であり、人間のニューロンに含まれているのか、という点ですね。
それは生物学的なニューロンよりも圧倒的にシリコンで構成されています。
そうですね。
それを考えるのは良いことです。最も基本的な比率は何かを考えてみることです。
物理学では、基本的な比率を見ることを常に考えていますが、基本的な比率の1つは、デジタル計算と生物学的計算の比率です。
単に計算能力とデジタルメモリと生物学的メモリの比率です。
現時点では、おそらく全メモリの99%以上がデジタルメモリであり、生物学的メモリとは対照的だと思います。
現時点では、メモリにおける生物学的メモリに対するデジタルメモリの比率は100を超え、1000に近づきつつある。
そして、デジタルと生物学的なコンピュートの比率がある。
そして、人間の数は多かれ少なかれ一定であるため、私は、出生率が非常に低いこの先数年で人間がかなり減少するのではないかと心配しています。
人間のコンピューターは多かれ少なかれ、時間に対して平坦な線に見えますが、デジタルコンピューターは指数関数的です。
つまり、全コンピュータの99%以上が生物学的なものからデジタル的なものになるということです。
もしまだそうなっていないとしても、1、2年のうちにそうなるだろう。
生物学がどれだけのデータを保存できるかは驚くべきことだが、私は、乾燥したDNA1グラムが400~500エクサバイトを保存できると推定している。
だから、生物学から学ぶべきことはまだあるのかもしれない。
しかし、信じられないような変化のスピードだ。
そう、つまり、DNAにテロップのように記憶をエンコードすれば、DNAメモリーの可能性は計り知れない。
でも、実際にそうなっているかどうかはわからない。
もしそうだとしたら、なぜ私の記憶力がそんなにひどいのかわからない。
でも実際、あなたの記憶力は、生の詳細という意味では、素晴らしい検索機能を持っているようなものでしょう?
まあ、そういう感じですね。
つまり、ある意味では、トランスフォーマー・アーキテクチャーは、非常に広範なデータを効果的に検索することができるんだ。
または、データ圧縮のようなものですね。
ディスクにエンコードされたギガバイトのようなデータはたくさんありますが、実際にその空間を効果的に検索できるのは、少なくとも人間よりも大規模な計算機ではまだ原始的なことのようです。
つまり、人間がコンピューターより得意とすることはまだいくつかある。
例えば、コンピューターはまだ基礎物理学を発見していませんが、人間は多くの基礎物理学を発見しています。
コンピューターはまだ有用な技術を発明していない。
人間は多くの有用な技術を発明してきた。
あなたは、AIシステムを言語で基本的にトレーニングするだけでは不十分であり、AIシステムが基礎物理学を理解するために必要な生の学習を実際に得るために、最適化ロボットを介したような具体的なデータソースを持つ必要があるという考えに賛成ですか?
そうですね、それが私の考えることです。
私が予測するのは、AIが基本的な物理学を理解し、新しい技術を発明することです。
確かに、いくつかのことは今ではチューリングテストに合格するようですが、最も重要なのは、マネーペニーテストに合格することです。つまり、AIが実際に請求書を支払ったり、経費報告書を作成したり、ジェームズ・ボンドがそれらを行ったように駐車違反の罰金を支払ったりすることができるかどうかです。それは、AIの非常に良い使い方であり、多くのユーザーがすぐに利用すると思います。
また、ビリー・コノリーのように一貫して面白いAIができるかもしれない。
Grokはかなり面白い。
それは妥当だ。
Grokの目標の一つは、最も面白いAIになることです。
だから、Grokに下品なローストを頼むと、本当にうまいんだ。
そしてGrokといえば、未来のAIを失望させないために、キャシーが触れたGrok要約の最後の質問は、ビットコインの未来だった。
それについて触れたいのか、それとも範囲外なのかはわからない。