マーク・ザッカーバーグ、Llama、AI、そしてマイナス・ワンについて語る

こんにちは。それでは始めましょう。まず、午後の挨拶とサウス・パーク・コモンズへようこそ。皆さんご存知だと思いますが、SPCは才能あるビルダーや技術者が次に何をするかを模索する場所です。私たちはそれをマイナス1から0のフェーズと定義しています。メンバーが人生の仕事に確信を持てるよう支援しています。
マークをSPCにお迎えできて本当に嬉しいです。彼は私の最初の上司でした。メタの創業者兼CEOとして紹介するまでもありませんが、今日は特にビルダー、ハッカー、独創的な思想家としての彼に注目したいと思います。ザックは彼のハンドルネームでもあります。数十年にわたりメタを構築し、メタをイノベーションの最前線に保ち続ける中で、マイナス1から0の創業者マインドセットをどのように維持してきたかについて議論したいと思います。
彼らは最近、大規模言語モデルのLlama 3.10をリリースしてオープンソース化しました。ここにいる皆さんに説明する必要はないでしょう。やったー、私たちはオープンソースが大好きです。週末にはSPC流にLatonハッカソンで祝いました。それについても感謝します。
では、始めましょう。マーク、ここ数年で見た目が変わりましたね。この個人的な変身につながったものは何ですか?
そうですね、膝を怪我したんです。それで、以前は短髪で格闘技の練習をしていたんですが、「よし、9ヶ月はできないな」と思って。ちなみに、今週ついに治りました。暴力の準備はできていますよ。でも、髪型はこのままかもしれません。若い頃はアフロっぽい感じだったんですが、プリシラか誰かに「伸ばしてみたら?」と言われて。「まあ、この9ヶ月は他に何もすることないしな」って感じでした。
素晴らしい髪型になっていますね。
ありがとうございます。
それに関連して、あなたは20年間テクノロジー界の主役でした。これまでの章をどのように区分けしますか?そして、今はどの章にいると思いますか?
分かりません。最近は主役になりすぎないようにしているんです。他の人の引き立て役になるのが、少し上手くいっているみたいです。
でも、いろんな段階を経てきましたよね。初期のFacebookでは「何とか動かして生き残る」フェーズがありました。その後、ここ10年くらいは、政治的な重圧や不安定さ、そしてそれに伴う責任の重さがのしかかる、全く異なるフェーズでした。会社にとっては非常に違う段階でした。もちろん、それはまだ終わっていません。でも、その問題の様々な側面を理解し、やるべきことに取り組んできたと思います。
その点については気分が楽になってきて、より積極的な素晴らしいことに注力できるようになってきたと感じています。次のフェーズを考えると、世界で素晴らしいことをする方法はたくさんあります。ソーシャルメディアが良かったのは、皆に発言力を与え、人々のつながりを助けたことです。多くの人が使っています。でも、それ自体は画期的なものではないと思います。基本的で根本的なことを人々に提供しているだけで、本当に優れた実行力が必要だっただけです。
大規模になると深遠なものになりますが、規模こそが興味深いものにしているのだと思います。あなたの言葉を借りれば、それは1からnへの拡大ですね。
私のキャリアの次のフェーズ、そして今後10年から15年間やりたいことは、規模に関係なく、より画期的で素晴らしく、刺激的なものに取り組むことです。例えば、次世代コンピューティング・プラットフォームとしてのARグラスやVRヘッドセットなどの開発です。最終的には何十億人もの人々がこれらを持つようになると思います。すでに何十億人もの人々が眼鏡をかけているので、スマートフォンを持っていなかった人々が簡単にスマートフォンにアップグレードしたのと同じように、眼鏡をかけている人は皆スマートグラスを手に入れることになるでしょう。
他の人々も時間とともに追いついてくるか、異なる形態を持つようになるかもしれません。しかし、その過程には10年から15年かかるかもしれません。世界にそれほど根本的なものを構築するのには、それくらいの時間がかかるのは普通だと思います。
しかし、初めてARグラスを試すときの体験は素晴らしいものです。私たちは今、最初の動作するプロトタイプを持っています。実際にこれに取り組んでいて、最初の消費者向け製品にしたいと思いましたが、最初の消費者向けバージョンをさらに良いものにしたいと思いました。そこで、最初のものはプロトタイプとして扱うことにしました。
人々がこれを試すと、ただ喜びに満ちた表情になります。刺激的なんです。これまで経験したことのないものなんです。通常の眼鏡の形で、ホログラムや物体を物理的にそこにあるかのように操作できるのは、ただ驚くべきことです。
私にとっては、それがその多くを占めています。AIバージョンもあると思います。それについてはもっと話すことになると思いますが、要するに、素晴らしいことをすることが大切なんです。
メタの人々によく言うのは、良いことをすることと素晴らしいことをすることには違いがあるということです。それは刺激の違いです。良いことも良いですが、素晴らしくて良くないこともあります。ほとんど直交する2つの方向性です。でも、この段階では素晴らしいことをし、素晴らしいものを作ろうとしているんです。
面白いですね。SPCでよく使うキャッチフレーズの1つは、「良いアイデアを捨てて素晴らしいアイデアを選ぶために来る」というものです。それを「良いアイデアを捨てて素晴らしいアイデアを選ぶ」に更新しようと思います。
人生は短いですからね。私たちが持つ最大の希少資源は時間です。誰もが良いアイデアを持つことはできますが、私たちが求めているのは素晴らしいアイデアなんです。
10年単位の話をすると、私たちがよく忘れがちなのは、特にこれらのLLMのリリースやLlamaに関して、あなたがFAIRをほぼ10年前に始めたということです。実際、Facebookで個人的にあなたと一緒に取り組んだ最後のプロジェクトの1つは、2010年頃のcoefficientでした。機械学習技術を使ってグラフの各エッジに重みを付けようとしていましたね。
良いプロジェクトでしたね。うまくいったと思います。Angが重要だったのは...ありがとう。[音楽] [笑い]
FAIRへの投資を始めたとき、初期の日々について教えてください。2014年頃はまだAIの冬の時代でしたよね。FAIRのマイナス1から0の日々に、どのような種を蒔こうとしていたのでしょうか?
2012年頃、私たちは株式公開してFacebookは10億人に達しました。次は何をするべきか考えていました。もちろん、Facebookはその後30億人以上に拡大し、今でも成長を続けています。多くの人はもう頭打ちだと思っているでしょうが、そうではありません。まだすごいことをしています。
でも、その時点で「次は何だ?」と考えていました。1つのソーシャルアプリを作るのは良いことですが、「1回できたからって、運が良かっただけかもしれない。他に4つか5つの10億人規模のアププを作れるのか?小さく始まったものを本当に大きくできるのか?」という雰囲気がありました。それが1つの側面でした。
もう1つは、次のプラットフォームは何かということでした。これについてはよく考えました。ソーシャルメディアと私たちが開発しているアプリは、スマートフォンとほぼ同時期に始まりました。私たちはスマートフォンの定義には関与していません。後になって試みましたが...Androidがあって、私たちもスマートフォンに挑戦しました。そこから学んだ教訓は、「このプラットフォームはかなり安定していて確立されている。これに大きな影響を与えるのは難しいだろう」ということでした。
次の主要なプラットフォームが今日の携帯電話と同じ規模になるまでに15年か20年かかるかもしれませんが、それに取り組まなければなりません。ただ別のスマートフォンの亜種を作ろうとして頭を壁にぶつけ続けるのは良くありません。
また、他のプラットフォーム上で開発することには問題がいくつかあります。1つは自分の運命をコントロールできないことです。これは本当にフラストレーションがたまります。起業したての頃は、様々な問題に直面し、風がいろんな方向から吹いてくるので、それほど大きな問題ではありません。でも、会社が大きくなると、より長期的な賭けをしようとします。そのためには、環境の前提条件がより安定していることが必要です。
自社のインフラをより多くコントロールし、何かを作ったときに誰かに「これは出荷できない」と言われたり、突然地盤が変わったりしないことが重要です。
もう1つ、これは私個人的な考えかもしれませんが、ソーシャルアプリを開発するときに、主に人々が持ち歩く小さな画面を通じて提供するのは、ある意味反社会的な形態です。これが、私がグラスにこだわる理由の1つです。グラスの方がずっと自然なんです。
2012年頃、私たちは次に何をするべきか考え始め、FAIRを立ち上げ、Oculusを買収しました。当時、VRとARに取り組み始めることができたのか、Oculusなしでできたのか、今でも考えることがあります。理論的にはできたと思いますが、多大な努力を払いました。
当時の会社の雰囲気は、「グループを隅に置いて5年間別のものを作らせよう」というものではありませんでした。別の種となるものが必要で、それを育てることで、私たちの文化がそれを受け入れるようになったのです。私は「これをやるんだ」と決めていましたが。
そういうわけで、FAIRでAIの取り組みを始めました。DeepMindを買収したかったのですが、彼らはGoogleに行きました。デミスは本当に上手くやりました。私とGoogleを巧みに操って良い価格を引き出しました。それは尊敬に値します。彼に敬意を表します。
なので、私たちは自分たちでやることにしました。閉鎖的な研究所を持たなかったので、多くの学者たちを迎え入れることになりました。これが、圧倒的にオープンソースの哲学的アプローチの基礎を築きました。メタ（当時はFacebook）では他のことでもそうしてきましたが、AI関連の仕事は特に学術的でオープンでした。基礎を築いた人々の多くがそうでした。
当時は製品はありませんでした。最新のAIアシスタントの波が来るまで、私が苦労したのは、基礎研究を行い、それがランキングや推奨、広告などに組み込まれて会社に大きな結果をもたらしましたが、単一の製品ではなかったことです。これは、先ほど話した意味での「素晴らしさ」に欠けていました。
DeepMindのAlphaGoやAlphaFoldのようなものは本当に刺激的です。それを見ると、「これは本当に分野への単一の大きな貢献だ」と思います。AIに関しては、しばらくの間頭を悩ませていましたが、最近では様々な種類のアシスタントを構築できるようになり、それが製品のフックになると思います。
Meta AIは世界で最も使用されるアシスタントになる軌道に乗っています。それについては良い感触を得ています。すべてのクリエイター、すべての中小企業、すべての人々が自分自身の仮想アシスタントや仮想コンパニオン、あるいは望むものを作れるようにします。メタバースでNPCとゲームをプレイするなど、これは素晴らしいことになると思います。
でも、それを理解するのに時間がかかりました。2012年から2014年頃が、「よし、これが次にやるべき2つのこと、AIとメタバースだ」と気づいた時期でした。
これらの種を蒔くのにどれだけ時間がかかるかを見るのは本当に驚くべきことですね。
そうですね、とても長い時間がかかります。正直、私が思っていたよりずっと長いです。起業家精神に関する教訓の1つは、合理的に考えると実際にやるには辛すぎるので、自分がやっていることに本当に興奮していないとダメだということです。
AIに関する大きな疑問の1つは、価値のほとんどが大手プレイヤー、つまり大手研究所やGoogle、Microsoftのような大企業に集中し、スタートアップにはほとんど競争の余地がないのではないかということです。単純に規模がないからです。
あなたは大企業でありながら、私たち全員に信じられないほどのリソースを提供して、ある意味で反対側から押し進めています。この部屋にいる起業家たちに、規模対非規模の問題、大手プレイヤーとの競争方法などについて、どのようなアドバイスをしますか?
ほぼすべての製品カテゴリーが破壊され、新しいものが構築される機会があると思います。一部のものは根本的に大規模な投資が必要で、スタートアップには向いていません。例えば、数百億ドルのトレーニングが必要な大規模な基盤モデルの構築は、比較的少数の企業しかできないでしょう。
しかし、良いニュースは、それが時間とともにある程度コモディティ化されることです。そして、私はそこに最大の価値があるとは思いません。その上に何を構築できるかが重要です。様々なカテゴリーの製品が構築されると思います。
私たちの仕事のあらゆる部分が何らかの形で変化すると考えています。フィードは友人のコンテンツから、今では主にクリエイターのコンテンツになっていて、将来的にはその多くがAIによって生成されるでしょう。広告は、広告主がターゲットを絞るところから、広告主がビジネス目標を提供し、私たちがクリエイティブを生成して適切な人々を見つけるようになります。これは本当に驚くべきことです。
メタバースに関しては、開発者がこれらの世界を構築するのではなく、まるで夢のように生成されるようになります。歩き回りながら夢を見ているような感じです。これは凄いことになるでしょう。
そこには多くのチャンスがあります。既存のほぼすべての製品体験が変わると指摘できます。大企業が配信の優位性を持っているかもしれませんが、大企業は遅く、確信が欠けています。
創業者主導の大企業の利点の1つだと思うのは、なぜ私たちがFacebookを構築でき、他の会社ができなかったのかということです。それほど斬新なアイデアではありませんでした。以前にFriendsterがあり、MySpaceもありました。Google、Microsoft、Yahooもみな似たようなものを持っていました。なぜ彼らはできなかったのでしょうか?
初期の頃、彼らがもたついているのを見ていました。才能不足ではありませんでした。私たちは寄せ集めの子供たちのようなものでした。彼らには真面目なエンジニアや真面目なインフラがありました。
私が思うに、その理由は、人々が新しいアイデアが実を結ぶ前に疑うからです。ソーシャルネットワーキングに関する物語は、「ああ、これは大学生の遊びだ」から始まり、「まあ、大学生だけじゃないかもしれないけど、きっと一時的な流行だ」となり、「しばらく続くかもしれないけど、おそらくお金にはならないだろう」となり、「お金になっているけど、モバイルへの移行は難しいだろう」となりました。
私たちがそれを解決したときには、他の会社が追いつくには遅すぎました。問題は何だったのでしょうか?おそらく、それらの会社の奥深くにいるチームがそれを信じていて、おそらくVPレベルの人が「それは最優先事項ではない」と言って、歯車に砂をかけるようなことをしたのでしょう。
大企業が大きな配信の優位性を持っているように見える機会であっても、大企業はそのうちの3分の2をふいにすると思います。そして、既存の配信チャネルに接続するため、明らかな新しい優位性がないように見える多くのチャンスがあります。それらは自由で開かれています。
これは大きな機会になると思います。私たちがLlamaで行っていることは、オープンソースを強く信じているからです。世界全体にとって良いことだと思います。利他的な理由でやっているわけではありません。私たちがLlamaを頼りにできるプラットフォームを構築したいからです。
現実には、これはエコシステムであり、私たちが単独で構築してデプロイできる単一のソフトウェアではありません。私たちがやっていることに対して、すべてのシリコンプロバイダーが最適化を行い、他の企業やスタートアップ、様々な人々が異なる蒸留ツールや推論ツールを構築して、より高速で効率的にすることで、より良くなります。
多くの人々がその上に何かを構築しています。Segment Anything Modelをリリースしましたが、これはLlamaとは異なりますが、リリースしてから最初の1、2週間で、多くの人々がさまざまな動画を実行し、モデルが改善されています。
これは皆にとって良いことだと思います。オープンソースは今後も重要になると思います。将来のコンピューティングプラットフォームに関しては、最近のバイアスがあります。iPhoneが勝利し、閉鎖的なモデルが勝つと人々は思い込んでいますが、未来はまだ書かれていません。
PCを振り返ると、Windowsが主要なプラットフォームでした。常にオープンなアプローチと閉鎖的なアプローチがあり、それぞれに長所と短所があります。多くのことは、誰がそれを実行するかに依存します。これはスタートアップの機会対怠惰な大企業にも当てはまりますし、オープンプラットフォーム対閉鎖的なプラットフォームが次の分野、AIやその他の分野で主導的になるかどうかにも当てはまります。
人生を定義する30秒間のエピソードを1つ共有したいと思います。2005年、Facebookに入社して2週間か3週間目くらいのことです。何をすべきか分からず、誰も明確な指示をくれませんでした。
そんなとき、マークが私のところに来て「おい、Facebookの検索エンジンを作るべきだと思う」と言ったんです。「ただ君が」という感じで。「人々がFacebookに来たとき、最初にやりたいのは人を検索することだから、絶対に失敗するなよ」と。
私の最初の反応は「マーク、僕は検索エンジンの作り方を知りません。やったことがないんです。GoogleやYahooから誰かを雇ってきてやってもらったらどうですか?」でした。すると彼は私を見て「おいおい、俺がFacebookを作れたんだから、君だって検索エンジンくらい作れるだろ」と言ったんです。
そして私は作りました。今でも考えるその30秒間というのは、私たちは自分の心に決めたことなら何でも作れるということです。これは今でもFacebookを定義する文化だと思います。ハッカー精神、できる態度、完全な当事者意識という文化です。世界中のすべてのスタートアップに1つのことを伝えるとしたら、それは「心さえ決めれば何でもできる。思っているよりも簡単だ」ということです。
そうですね。時には思っていたより時間がかかることもありますが、できるんです。多くのことが明白に見えても、実際にやる人がいないんです。これが最も奇妀なことの1つだと思います。「ああ、これは誰かがやるべきことだ。誰かがやっているはずだ」と思うのは心地よいかもしれません。でも、誰もやっていないんです。私たちが大人になったんです。
Llamaとオープンソース化に話を戻しましょう。Llama上に構築されることを期待している実世界の例はありますか?
正直なところ、素晴らしいものがたくさん構築されると思いますが、具体的なビジョンはありません。私の観点からすると、みんなに使ってほしいだけです。より多くの人が使えば使うほど、Llamaを改善するためのフライホイールが回転すると思うからです。
これは非常に利己的で偏った答えかもしれませんが、そうすることで私が構築したいものをより良く構築できるようになります。しかし、正直に言うと、人々はこの答えに安心すべきだと思います。
私たちのオープンソース戦略について人々が抱く大きな疑問の1つは、「なぜこれをやっているのか? このモデルを訓練して、そのまま無料で提供するのか? それは持続可能なのか?」ということです。Llama 4やLlama 5の訓練に何十億ドルもかかるとしても、そのまま無料で提供するのかと。答えは「はい」です。
私はそれを「与える」とは考えていません。皆さんが私のためにそれをより良くしてくれると考えています。だから、皆さんが何をするかは気にしません。責任を持って使ってくれれば良いのです。
安全性は重要だと思います。AIの倫理や安全性、セキュリティに関しては多くの疑問があります。これらは本当に重要になります。私たちは膨大な時間をかけていますが、これはオープンソースを難しくしている最大の要因の1つです。
私たち自身のために構築しているなら、モデル自体に加えてスタックの複数のレイヤーがあり、悪いものをフィルタリングできるという前提を立てることができます。入力される悪いクエリや、意図せずに生成される出力などです。
オープンソースの場合、それを再現しようとして、Llama Guard システムを構築しました。これは全体的なシステムとしてデプロイされることを意図しています。しかし、根本的には、実際の基盤となるモデルのトレーニングにはるかに多くのエネルギーを注ぐ必要があります。なぜなら、他のすべてのレイヤーなしで単独のモデルとして使用される可能性があるからです。
これはあなたの質問に対する否定的な答えかもしれませんが、オープンプラットフォームの良い点は、想像もしなかったものを人々が構築することです。人々に何を構築してほしいかは分かりません。皆さんが考えてくれると思います。
ただ、私が心配しているのは、安全性に関する機会と課題の両方がより大きくなることです。多くのオープンソースの安全性に関する議論は、「オープンソースは根本的に安全性が低い」という前提で行われてきました。しかし、うまくやれば、むしろより安全になると思います。
オープンソースソフトウェアが時間とともにより安全になってきたのと同じ理由です。オープンなので、より多くの人が精査できます。最初は直感に反するかもしれません。「ハッカーが全ての穴を見つけられるなら、より安全ではなくなるのでは?」と思うかもしれません。しかし、そうではありません。穴を素早く修正し、みんながパッチを適用するのです。
Llamaでも同じことが起こると思います。人々が問題を指摘し、私たちは継続的に小さなリリースと大きなリリースを行います。開発者は最新のモデルをロールアウトしたいと思い、最新のモデルに微調整パッチを適用するでしょう。素晴らしいことになると思います。
シリコンからデータセンターまで、スタック全体がそうなるでしょう。以前にOpen Computeプロジェクトで同様のことをしました。独自のデータセンターとサーバーを設計し、それを無料で提供しました。業界全体が私たちの設計に標準化し、サプライチェーンが開発され、みんなのコストが下がることを期待しました。
私たちはGoogleの後発だったので、Googleが最初にそれらを構築しました。私たちにとっては独自のものではありませんでした。存在し、安くなればそれで素晴らしいと思いました。AIに関しても同じような状況にあると思います。
あなたは最前線にいますが、これらのモデルのスケーリングフロンティアについて、現時点での最良の見解は何ですか? スケーリング則に従い続けているようですが、あとどれくらい余地があると思いますか? Llama 4やGPT-5は理解できますが、現在の見解として、どれくらいの余地があり、制限要因は何だと思いますか?
正確には分かりません。コンピューティングの問題があります。どこまでスケールするか正確には分かりませんが、明らかにスケールすると賭けています。そのためにすべてのインフラを構築しているからです。
正確なタイミングを推測するのは難しいです。これは5年から7年かけてのインフラ構築です。将来のLlama 10のような大規模なスケールを実現するためです。6ヶ月か9ヶ月でモデルを訓練できますが、必要なエネルギーを確保するのは長いプロセスです。
うまくいくと思いますが、多くはデータに依存すると思います。そして、多くは異なる領域で行われるでしょう。現在、ウェブ上にないデータがあります。今は、ウェブ上のすべてのコンテンツを見て、そこにあるパターンを見つけようとしています。それが事前学習モデルです。
その後、異なるアプリケーションや目的のためにファインチューニングや事後学習を行います。より動的な行動に近づくにつれて、そのデータセットはまだ存在しません。そのデータセットを作る必要があります。
今後の新しい作業の多くは、既存のデータを取得してコンピューティングパワーでそれを処理し、トレーニングするだけではないと思います。実際、今後のトレーニングの多くは、今日の推論のようになると思います。
どのように動的なデータセットを作成するのか? おそらく、ある程度の手動作業と、システムに遊ばせて実験させ、自身のゲームプレイからデータを生成させることの組み合わせになるでしょう。これは一例に過ぎませんが、今日存在しないタイプのものです。
そこでどこまで行けるかという疑問がありますが、かなり遠くまで行けると思います。私は明らかにこの点で楽観的ですが、正確にどこまでかは分かりません。
良いですね。リッチー、Facebookの初期の頃に話を戻してもらえますか?
はい、これに関連して、アディアがFacebookでの初期の経験について話していましたが、私も新しいニュースフィードの開発に携わり、多くのウォールームに参加しました。あなたは最初のニュースフィードを構築した6人のチームの一員でしたね。私はずっとあなたの隣に座っていました。必ずしも良いことばかりではありませんでしたが。
Facebookの初期、特にニュースフィードを立ち上げた後は、多くのウォールームやロックダウンがありました。私は1週間オフィスを出ませんでした。
そうですね。抗議者が通りにいて、セキュリティが「表に出ない方がいいかもしれません。人々は本当に怒っていますから」と言ったからです。
そこで、最近のウォールーム体験について聞かせてください。例えば、Llamaの重みがリークされたときなど、現在のFacebookでのウォールームはどのような感じですか?
2つの異なる側面があると思います。私は以前ほど運用上のウォールームには参加していません。初期のニュースフィードのような状況とは違います。大きな戦略的な問題が発生したときの対処方法については、もう少しスムーズに会社を運営する方法を学ぼうとしています。
まだ成功しているとは言えませんが、いつかはこの人生か次の人生で、もう少しスムーズにやる方法を見つけ出せると願っています。もちろん、本当にクールなことをやろうとすることを妥協せずにです。安定性を高める明白な方法は、アクセルを踏むのを控えることですが、私にはそれができません。
以前は髪の毛を振り乱して走り回ることが多かったと思います。経験不足を努力で補おうとしていたのかもしれません。しかし、時間が経つにつれて、もう少し安定した方法でものごとを進めようとしています。
例えば、Llamaの最初のバージョンは学術的なリリースを意図していましたが、外部に漏れました。私はそれがかなりクールだと思いました。どのように対処すべきか考えていましたが、髪の毛を振り乱すような状況ではありませんでした。悪いことではなく、人々が本当にそれを欲しがっていて、適切な対処方法を見つける必要があっただけです。
現在直面する多くの危機は、残念ながら大企業であることの副産物かもしれませんが、世界がより社会的、政治的になっているためでもあります。技術的な課題よりも社会的、政治的な課題の方が多くなっています。
ニュースフィードの場合、大きな課題は何だったでしょうか? サイトに大きな変更を加えたことだけでなく、ニュースフィードを立ち上げた直後にサイトのトラフィックが一晩で50%増加したことです。人々は興味深い情報が表示されるようになり、「さて、これにどう対処しよう?」となりました。人々を集めて、「よし、これを解決しよう」となりました。人々は特定のコントロールを求め、どのコントロールを提供すべきか考える必要がありました。
しかし今は、人々が私たちが半ば偶然に始めたオープンソースのLlamaを欲しがっているという状況です。内部で2つの議論がありました。1つは、これが良いことかどうか、続けるべきかどうかです。これはすぐに解決しました。良いことだと思うので、続けるべきだと。
2つ目の議論は、政治的または社会的な議論が非常に速く動くことがあるからです。オープンソースの議論は、今後5年から10年の間で最も重要な技術政策の議論の1つになると思います。私たちはすでにかなりの進展を遂げています。その理由の1つは、多くの人々がLlamaを採用し、使用しているからです。
率直に言って、スタートアップと起業家精神は一般的に人気があり、大手テクノロジー企業よりもはるかに人気があります。私たちがやっていることとして、それ自体が人気があるかどうかは分かりません。マイナスかもしれませんし、プラスかもしれません。しかし、人々がそれを使用しているという草の根の動きがあると、人々はそれに少し耳を傾けます。「そうだね、新しい企業が生まれるのは良いことだ」と思うでしょう。
しかし、初期の段階、つまり最初の商用オープンソースであるLlama 2を実際にリリースする前は、大きな議論がありました。心配や懸念の面が公の議論を支配していました。実際にスタートアップがこれを使い始めるまではそうでした。
内部で整理しなければならなかったのは、クローズドなモデルに比べてオープンソースの特殊性を考慮しつつ、本当に責任ある安全な方法でこれをどう実行するかということでした。私の見解は、良い仕事をし、安全性に特に注力すれば、時間とともに信頼を築き、このコミュニティを構築できるというものでした。
今日の大企業を考えてみてください。それらはすべてオープンソースソフトウェアの上に構築されています。この議論がうまくいけば、次世代の主要企業はオープンソースAIの上に構築されるでしょう。途中で対処すべき課題はあるでしょうが、これは最も重要な議論の1つになると思います。
慎重に進める必要があるため、私たちが行うことにいくつかの制限を設けています。時には少し遅くなることもありますが、「さあ、戦闘室に入って一晩でこれを解決しよう」というわけではありません。Llama 1のリークからLlama 2までは何ヶ月もかかりました。6ヶ月か8ヶ月くらいでしょうか。
その間、チームはモデルに取り組んでいましたが、裏では責任に関するすべての問題を整理し、本当に良い仕事をし、将来の基礎を築くことを確実にしていました。
素晴らしいですね。では、少し方向を変えて、観客から寄せられた質問にいくつか答えていただきましょう。起業家になりたい技術者にどんなアドバイスをしますか? ここで働いている多くの起業家を見ていると、しばしばローカルマキシマにぶつかるように思います。どんなアドバイスをしますか?
あなたのマイナス1から0というアイデアは、私の探索空間に関する哲学とよく合っています。私が始めたとき、多くの人が「会社を始めたい」と決めて、本当に専念して何かを始めます。しかし、問題は、一度多くの人を巻き込んで何かを始めると、それを変更するのが本当に難しくなることです。
意志の力でそれを乗り越えることはできますが、時間がかかります。初期段階では非常に動的で広い空間を探索しているので、自分の頭の中で会議を開いて決定を下し、すぐに違うことをできる柔軟性が必要です。「数時間前にやろうとしていたことと違うことをやることにした」と言えるようでなければなりません。
私が大学にいたとき、Facebookの最初のバージョンを作る前（これが大きな会社になるとは思っていませんでした）、実際にはたくさんの異なるものを作りました。ものを作るのが大好きだったんです。
例えば、どの授業を取るべきか分からなかったので、授業カタログをスクレイピングし、みんなが受講した授業や受講予定の授業を入力できるサービスを作りました。これは授業の相関関係を示し、この授業を受けた人はこの授業にも興味があり、このように評価しているというものでした。
これは面白かったです。最初は「どの授業を取るべきか」というクラウドソースの質問に答えるために始めましたが、実際には人々は他の人々について学ぶことに本当に興味があることが分かりました。「あなたはどの授業に興味がありますか?」というのは、あなたについての興味深い情報であり、他の人を知る興味深い方法なのです。
これらすべてのことが、Facebookの最初のバージョンに多くの要素を組み込むことにつながりました。おそらく10個ほどの異なるプロジェクトがありました。高校時代にD'Angeloと一緒に作ったものもありました。
ピークは、あるプロジェクトに取り組んでいて、期末試験が近づいていたときでした。ハーバードで「ローマのアウグストゥス」という歴史の授業を取っていました。文学や自然科学の要件を満たすためでした。期末試験では、ある芸術作品が表示され、その歴史的意義を答える必要がありました。
私は他のプロジェクトの構築に全ての勉強時間を費やしていたので、数時間で素早く芸術作品をスクレイピングし、クラスにリンクを送って「勉強ツールを作りました。使いたい人は使ってください。芸術作品が表示され、その意義を書き込むと、他の人が書いたものも見られます」というものを作りました。試験の成績は過去最高でした。
本当に、様々なものを作り、早くに固執しすぎないというアプローチを信じています。特にスタートアップの場合はそうです。大きくなれば、5年後や10年後の世界の状況を予測するのは比較的簡単ですが、そこに到達するための突破口を見つけるのは本当に難しいのです。
人によってアプローチは異なります。「スタートアップを始めよう、うまくいくまで頭を壁にぶつけ続けよう」と言って成功する人もいます。しかし、私はいつも、テーマ的に興味深いものをたくさん作り、そこから様々なことを学び、早くに固執しすぎないことを信じてきました。
実際、完全にピボットし、やるべきことの空間を探索するのは本当に難しいのです。その観点から、私の理解では、あなたの考え方と本当によく合っていると思います。
ありがとうございます。私たち全員への大きな賛辞です。良い人たちですね。
続けてください、マーク。素敵なチェーンですね。素晴らしいサーファーですよ。
そうですね、その観点から、人々が私にFacebookで取り組んだ異なるプロジェクトについて尋ねると、成功したものもありましたが、うまくいかなかったものもたくさんあったと答えます。内部でも、本当に素晴らしい製品になると思うものに向かって一生懸命頑張るべきですが、それに固執しすぎて自分のエゴが邪魔をしないようにするという態度がありました。
作って試すことの全てのポイントは、多くのものがうまくいかないことで、それは大丈夫だということです。それは特徴なのです。これは今でもFacebookで私が感心していることの1つです。常に前進しようとしていますが、全てがうまくいくわけではないことを知っていて、それでも大丈夫だという認識があります。
そうですね。私はおそらく業界で誰よりも多くの公の失敗をしてきました。マイケル・ジョーダンの広告で、私がいつも感銘を受けるものがあります。「私は何度も何度も失敗してきた。だからこそ成功したんだ」というものです。本当に心に響きます。
アインシュタインの伝記でウォルター・アイザクソンが同じような指摘をしています。アインシュタインは多くの理論で間違いを犯しました。しかし、いくつかは正しかったんです。そして、それが重要なんです。
あなたはこのことについて話しましたが、もう1つ質問させてください。私は多くのスタートアップで働き、多くのスタートアップを支援してきました。しかし、Facebookの初期のチームのことを考えると、鳥肌が立ちます。経験不足でしたが、良い意味で鳥肌が立つんです。採用で何を正しく行ったのでしょうか? 重要な採用はどのようなものでしたか? そして、なぜ彼らが最高の人材だったのでしょうか?
2つの側面があったと思います。1つは、大学を卒業したばかりの多くの熱心で意欲的な人々がいたことです。彼らは製品を使っていて、「これは素晴らしい。この会社で働きたい」と思っていました。
もう1つの側面は、長い間うまくいかなかった経営陣の構築です。多くの幹部を次々と起用しましたが、うまくいきませんでした。私の頭の中には「エンジニアリング責任者はこうあるべきだ」というプラトン的な理想像がありました。彼らはおそらくみな合理的な人々でしたが、文化的なミスマッチが大きかったのです。
最終的に、ピーター・ティールが私をランチに誘い出し、「これは明らかにうまくいっていない。あなたはこれらの幹部とうまくやっていない。基本的に、一緒に時間を過ごしたい人を選ぶべきだ。あなたはほとんどオフィスに住んでいるようなものだし、人生のすべてをこれに捧げているんだから」と言いました。
初期のチームには一種の帯域幅の問題があります。同じ言語を話し、多くの共通の前提を持っている必要があります。もちろん、お互いに挑戦し合うことも大切です。そこにいた人々は物事について異なる見方をしていましたが、価値観の基盤が重なる部分も十分にありました。
そこから少しずつうまくいき始めました。あなたが指摘したように、カオスを受け入れ、経験が少なくても同じページにいる人々を採用しました。
会社の現在の状況で素晴らしいのは、これらの人々が成長し、今では本当に経験豊富な素晴らしい幹部になっていることです。業界の定義からすると、彼らは非常に経験豊富で、15年以上一緒に働いてきました。
人々は「どうやってそれを構築するの?」と聞きます。構築することはできません。基本的に...私がしようとしているのは、比較的大きな経営陣を持つことです。私たちには多くの異なる製品があるからです。私はかなり直接的に関与したいと思っています。そのため、6人や7人を通して働くのではなく、25人くらいのグループを持っています。
主要なアプリから広告、AI、AI研究、スマートグラス、MRヘッドセットまで、おそらく15の製品グループを運営しています。そして、すべてのビジネス機能があります。私たちは毎週何時間も一緒に過ごします。これが私の会社運営のスタイルの一部です。結束したグループにすることです。
私が本当に誇りに思っているのは、製品担当の人々についてです。ビジネス側では少し違います。経験豊富な法務責任者を雇いたいと思います。それは本当に重要なことです。
しかし、最高製品責任者であるクリス・コックスは、人事も担当しています。ダスティンと私はこれについて大きな議論をしました。クリスは明らかに非常に有望な若者でした。ダスティンは「エンジニアリングマネージャーとして彼が必要だ」と言い、私は「ダスティン、あなたはすでに5人のエンジニアリングマネージャーがいる。私には人事責任者が本当に必要なんだ」と言いました。
彼は素晴らしい人事責任者でした。製品に戻る前に数年間その役割を務めてくれて、本当に寛大でした。
今日、私が最も誇りに思っているのは、トップの製品グループリーダーの誰も、最初から製品グループリーダーとして入社した人はいないことです。彼らは皆、1つか2つ下のレベルから始まりました。
多くの人をディレクターとして雇います。会社にいる人々の多くは個人貢献者として始まりました。実際、経営陣の中に2人います。管理職として始まった人もいます。非技術的な役割から技術的な役割に移った人もいれば、その逆もあります。
本当に素晴らしいグループです。自分一人でたくさんのことをやり遂げることはできますが、アイデアがある程度進んだ段階では、本当にチームスポーツになります。どれだけ楽しめるか、そして低迷期がどれだけ辛いかは、本当にあなたの周りの人々次第です。
常に予想よりも時間がかかり、多くの問題に直面します。私が自分のやっていることに興奮し、幸せでいられる理由の1つは、一緒に働く人々が大好きで、彼らが私の最も親しい友人だからです。素晴らしいことです。
それに関連して、会社を起業し、経営する上での感情的な浮き沈みをどのように管理してきましたか? そして、それは過去20年でどのように進化してきましたか?
分かりません。難しいですね。会社が大きくなるにつれて、サイクルが長くなったと思います。以前は、あなたが言ったように、ニュースフィードを立ち上げるのに短期間で最初のバージョンを構築し、そして急上昇があり、一部の人々が動揺し、1週間後には解決して大丈夫になる、というような感じでした。
しかし、現在の規模では、スタートアップの構築は楽しいけれど、非常に激しいものです。常に幸福感と死にそうな気分の間を行き来しているような感覚です。正直、もうそれは懐かしくありません。疲れるんです。もう一度そんなことはできないと思います。
今はサイクルが長くなっています。ある程度の意志の力、周りの人々のサポート、そして時にはある状況がどれほど悪かったかを完全に認識するのは、それを乗り越えた後だということもあります。私たちが対処してきたことの一部は...分からないですね。ただ一歩一歩前に進み、仕事を続けるだけです。後から振り返ると「ああ、あれは本当に大変だったな」と思うことがあります。
あなたの話を聞いていると、マークでさえもう一度ゼロから始めるのは本当に大変だろうなと思います。できることは一歩一歩前に進み、諦めないことだけです。
そうですね、リッチーさんたちには選択肢がありませんね。RIがいる限り諦めるわけにはいきません。
では、少し話題を変えて楽しい話をしましょう。パンデミック中、私は個人的に新しいスポーツをいくつか始めました。スキーを覚え、自分をサーフィンの中級者と呼べるようになり、ウェイクサーフィンを学び、少しフォイルもできるようになりました。これらのスポーツは素晴らしく、自然の中に出て多くの新しいことを学ぶきっかけになりました。
あなたも明らかに新しいことをたくさん始めましたね。総合格闘技やフォイリングなど。これらのスポーツについて何が好きですか? これらのスポーツ間で何か学びの転移はありましたか? そして、それを仕事にどのように活かしていますか?
私にとって総合格闘技が好きな理由は、先ほど話した大きな会社を運営する際のサイクルが長くなる話と関係しています。特にハードウェアを扱う場合や、基盤モデルをトレーニングする場合など、「さあ、9ヶ月間これに取り組もう」というような感じになります。
そこで、限られた範囲で「これに集中しないと本当に顔面パンチを食らうぞ」と思わせるものが必要です。そして、見返りも大きいんです。誰かの顔面をパンチできるんですから。もう会社では絶対にそんなことはさせてもらえません。
あなたと似たような経験をしました。若い頃は運動競技でかなり競争的でした。でも会社を始めてからは、ほとんどそういったことをやめてしまいました。基本的には体型を維持するために少し重量挙げをするくらいでしたが、長い間フィットネスの目標はありませんでした。
パンデミックが始まり、全てがリモートになったとき、「よし、ランニングをもっと真剣にやろう」と思いました。家族でハワイで過ごす時間があり、サーフィンを始めました。これは本当に良かったです。自然の中にいて、美しく、体を動かしますが、目的があります。波に押し流されないようにしながら、乗っているときは楽しい。戦略的でもあります。
ハワイでの時間は終わりましたが、まだ時々行きます。そこで「陸上版のサーフィンは何だろう?」と考え、「格闘技を学ぶ必要がある」と思いました。そこから全てがエスカレートしていきました。
友人数人と始め、トレーニングを重ねました。友人の1人が「大会に出る」と言い出しました。「それは面白そうだね。どうなるか本当に興味がある」と言いましたが、自分は「絶対に大会には出ない。完全に恥をかくだけだ」と思いました。誰かに絞め落とされるだけでしょう。
でも、彼が行って上手くやったのを見て、「いや、あの人ができるなら...」と思いました。そこで次の大会に出ることにしました。いくつかのメダルを獲得しました。
そして、プリシラと交渉して、公式の総合格闘技の試合を1回だけすることにしました。柔術なら長くできますが、この仕事では頭部への衝撃にはある程度限度があると感じたんです。1回だけ公式の総合格闘技の試合をすることにしましたが、膝を怪我してしまいました。でも今は戻ってきました。
面白いですね。その試合の日程はいつですか?
まだ決めていません。膝に自信を持てるようになる必要があります。春くらいだと思います。もう少し準備の時間が必要です。
ここで初めて聞きましたね。マークの競争心についてもう1つエピソードをお話しましょう。2009年だったと思いますが、マークは数年間「真面目な年」というテーマを掲げていて、シャツとネクタイで出社していました。そんな中、オフィスで最初に腕立て伏せ1万回を達成する人を競うことになりました。自己申告制でした。
Alex Himelが勝ちました。彼は今、ARグラスのプログラムを率いています。マークは僅差で2位でした。当時のAlexは、ただのエンジニアでした。今では会社のトップの1人です。長年素晴らしい仕事をしてきたからこそ、今の地位にいるんです。
そろそろ終わりの時間です。最後の質問をさせてください。世間の人々はよく私に「マークはどんな人?」と聞きます。私は目を合わせないようにしてその場を離れることもありますが、時々「彼は私が最も困難な時に頼れる親友の1人だ」と答えます。
私が興味深いと思うのは、あなたが有名になればなるほど、私たちのために時間を作ってくれることです。多くの人が知らない、あなたにとって大切なものは何ですか?
そうですね、体を動かすことについてはすでに話しましたし、人間関係や信頼についても少し触れました。でも、私たちが最初に話した「良いものを作ること」と「素晴らしいものを作ること」の違いに戻ると、人生のこの章では、素晴らしいものを作ることに加えてもう一つの側面があります。
それは、本当に楽しい人々と素晴らしいものを作ることです。時々、ある人が好きだからその人とプロジェクトをやりたいと思うことがあります。その人が良い人だから助けたいとか、その人から何か学べるから面白いと思うからです。様々な理由があります。
もちろん、私のエネルギーの大部分はまだメタに向けられています。本当に楽しいことの一つは、プリシラとの関係を広げていることです。私たちには家族がありますが、CZI（チャン・ザッカーバーグ・イニシアチブ）も一緒に運営しています。彼女がこの巨大な組織を率いて成長していく様子を見るのは本当に素晴らしいです。
それから、全くランダムなこともあります。例えば、世界最高品質の牛肉を育てるプロジェクトに取り組みたいと思っています。なぜかって? 分かりません。でも、素晴らしいと思う人々と一緒にやりたいんです。
この段階で私にとって重要なのはそういうことです。部分的には、会社が大きく成功しているからかもしれません。はい、全体的な勢いを維持し、物事を進めるためには、引き続き上手くやる必要があります。でも、私を動機付けていたのは、ある評価額に到達することではなく、常に私たちが構築しているものでした。
この段階では、素晴らしいものに取り組み、本当に深い人間関係を築くことができるということです。長い間何かを続けることの一部は、若い頃には20年間の友情はまだないということです。若すぎるからです。でも今、私たちの人生では、そういう友情がたくさんあります。それは素晴らしいことです。
しかし、私たちはまだ若く、20年かかるような関係を築くこともできます。それができるということ、それが私にとって重要なことです。
皆さんは私について多くの素晴らしいことを言ってくれました。皆さんも私の最も親しい友人の何人かです。皆さんのやっていることは素晴らしいと思います。Facebookでの初期の仕事に対して、永遠に感謝しています。あなたたちがいなければ、今の私たちはありません。
サポートについては冗談を言いましたが、皆さんは本当に素晴らしい人たちです。皆さんと一緒に仕事をし、指導を受ける人々は本当に幸運で恵まれています。それが、私がここに来てこれをやりたいと思った理由の一つです。
皆さんがやっていることを強く信じていますし、哲学的にも世界に対して正しい方向性だと思います。他の異なる哲学や異なることをしているインキュベーターと比べても。でも、それが今の私の人生のこの段階で重要なことです。
ありがとうございます。