見出し画像

No Priors エピソード80 | OpenAIとTeslaのアンドレイ・カルパシー氏を迎えて

AIに仕事を奪われたい

23,580 文字

ナレーター: こんにちは、リスナーの皆さん。No Priorsにお帰りなさい。今日はアンドレイ・カルパシーさんをお迎えしてます。紹介するまでもない方ですが、アンドレイさんは有名な研究者であり、愛されているAI教育者、そして早くからOpenAIのチームメンバーとして、またテスラでオートパイロットのリーダーとして活躍されてきました。現在は教育のためのAIに取り組んでおられます。研究の現状や新しい会社、そしてAIに何を期待できるかについてお話を伺います。
アンドレイさん、今日はお越しいただきありがとうございます。ここにお迎えできて光栄です。
アンドレイ: ありがとうございます。ここに来られて嬉しいです。
ナレーター: テスラでオートパイロットを率いておられて、今では完全自動運転の乗用車が実際に道路を走ってますね。能力の面から見て、どのように評価されてますか? また、能力の向上やより広範囲な乗用車への普及をどのくらいのスピードで見込んでおられますか?
アンドレイ: はい、そうですね。自動運転の分野で約5年ほど過ごしました。非常に魅力的な分野やと思います。現在この分野で起こっていることは、まあ、AGI（汎用人工知能）との類似点がたくさんあると私は感じてます。それは単に私がこの分野に詳しいからかもしれませんが、ある意味、自動運転の分野ではAGIに到達したような気がします。
今日では、一般のお客さんが利用できるシステムがあります。例えば、ここサンフランシスコではWaymoがよく見られますね。おそらく皆さんも乗ったことがあるでしょう。私も何度か乗りましたが、素晴らしいですよ。街中のあらゆる場所を走ってくれて、製品として料金を払って利用できるんです。
面白いのは、私が初めてWaymoに乗ったのがほぼ10年前、2014年頃やったってことです。当時、そこで働いていた友人がデモを見せてくれて、ブロック1周を走らせてくれました。10年前のその30分のデモドライブは、ほぼ完璧やったんです。でも、そのデモから製品として街中で利用できるようになるまでに10年かかったんです。今では拡大し続けていますしね。
ナレーター: その10年間のうち、どれくらいが規制によるものと、どれくらいが技術によるものやと思いますか? 技術的にはいつ頃準備ができてたと考えておられますか?
アンドレイ: 技術面では、30分のデモドライブでは10年間で彼らが対処せなあかんかったすべての問題に遭遇することはないんです。デモと製品の間には大きなギャップがあって、その多くは規制なども関係してますね。
ある意味、自動運転の分野でAIを実現したと言えるかもしれません。でも面白いのは、まだ世界的な普及は全然起こってないってことです。デモを見せることはできて、サンフランシスコで乗ることもできますが、世界はまだ変わってないんです。それには長い時間がかかるでしょう。
デモから実際のグローバル展開までには大きなギャップがあります。これはAGIにも似たようなことが言えるんじゃないかと思います。AGIが実現したときも、似たような道筋をたどるんじゃないでしょうか。
自動運転の話に戻ると、多くの人はWaymoがテスラより先を行っていると考えてるみたいですが、個人的にはテスラの方が先を行っていると思います。そう見えないかもしれませんが、私はテスラの自動運転プログラムにまだとても期待しています。
テスラにはソフトウェアの問題があって、Waymoにはハードウェアの問題があると私は考えています。そして、ソフトウェアの問題の方が解決しやすいんです。テスラは世界中に大規模に車を展開しています。Waymoはそこに追いつく必要があります。
テスラが実際に展開できるポイントに達して、それが実際に機能し始めたら、本当に素晴らしいものになると思います。最新のビルドを昨日も運転しましたが、もう街中のあらゆる場所を走ってくれます。最近、本当に良い改善がなされていますね。
ナレーター: 私も最近よく使っていて、実際かなりうまく機能しています。昨日は驚くような運転をしてくれましたよ。チームの仕事ぶりには本当に感心しています。
アンドレイ: そうですね。テスラは主にソフトウェアの問題を抱えていて、Waymoは主にハードウェアの問題を抱えていると思います。今のところWaymoが勝っているように見えるかもしれませんが、10年後に振り返ったときに、実際にスケールしていて、収益の大部分がどこから来ているかを考えると、私はまだテスラの方が先を行っていると思うんです。
ナレーター: ソフトウェアの問題が転機を迎えるまでにどれくらいかかると思いますか? ある程度の同等性に達するまでに。明らかに、Waymoの車には非常に高価なライダーやその他のセンサーが組み込まれていて、そのおかげでソフトウェアシステムをサポートできているわけですよね。もしカメラだけを使うテスラのアプローチで実現できれば、莫大なコストと複雑さを取り除くことができて、多くの種類の車で実現できるわけです。その移行はいつ頃起こると思いますか?
アンドレイ: 数年以内にそうなることを期待しています。実際、面白いのは、テスラも高価なセンサーを使っているということです。ただし、それは訓練時に使用しているんです。ライダーを搭載した車をたくさん走らせて、スケールしないようなことをたくさんやっていて、追加のセンサーも使っています。マッピングなどもすべて訓練時に行っているんです。
そして、それを蒸留して、実際の車に展開される、ビジョンのみのテスト時パッケージにしているんです。これは、センサーや経費に関する一種の裁定取引みたいなもんです。
これは実に素晴らしい戦略やと思います。まだ十分に理解されていないかもしれませんが、うまくいくと思います。なぜなら、ピクセルには情報が含まれていて、ネットワークがそれを処理できるようになると考えているからです。訓練時にはこれらのセンサーは本当に有用ですが、テスト時にはそれほど有用ではないと思います。
ナレーター: もう一つ起こっている変化は、基本的に多くのエッジケース設計から、エンドツーエンドの深層学習への移行ですね。これについて少し話していただけますか?
アンドレイ: はい、それはテスラでの当初からの計画やったと思います。ニューラルネットがスタック全体を「食べていく」という話をしていました。私が入社したときは大量のC++コードがありましたが、今では車で動作するテスト時パッケージにはC++コードがずっと少なくなっています。バックエンドにはまだたくさんありますが、それは別の話です。
ニューラルネットがシステムを「食べていく」んです。最初は画像レベルでの検出だけをして、次に複数の画像で予測を行い、さらに時間経過に伴う複数の画像で予測を行います。そうしてC++コードを徐々に捨てていって、最終的にはステアリングコマンドを出すだけになるんです。
テスラはこのようにしてスタックを「食べていく」んだと思います。私の理解では、現在のWaymoはそうではありません。試みはしたものの、結局そうはならなかったと理解しています。ただ、彼らは公表していないので確かではありませんが。
でも、私は根本的にこのアプローチを信じています。これが最後に落ちるピースだと考えるなら、そういう見方もできるでしょう。10年後のテスラのエンドツーエンドシステムは、ただのニューラルネットになっていると予想しています。ビデオストリームがニューラルネットに入力され、コマンドが出力されるだけです。
もちろん、それを段階的に構築していく必要があります。一つずつピースを組み立てていくんです。これまでに行ってきた中間的な予測やすべてのことが、実際には開発を誤った方向に導いたわけではないと思います。それらは全て必要な過程だったんです。
というのも、人間の運転を模倣するだけの場合、巨大なニューラルネットを訓練するための教師信号が非常に少ないんです。数十億のパラメータを訓練するには信号が少なすぎるんです。そこで、これらの中間表現などが、すべてのための特徴やディテクターを開発するのに役立つんです。そうすることで、エンドツーエンドの部分がずっと簡単な問題になるんです。
私はもう開発チームの一員ではないので確かではありませんが、エンドツーエンドの微調整ができるように、大量の事前訓練が行われていると思います。基本的に、段階的に「食べていく」ことが必要だったんです。そしてテスラはそれをやってきた。これが正しいアプローチだと思いますし、うまくいっているように見えます。本当に楽しみです。
もし最初からエンドツーエンドで始めていたら、そもそもデータがなかったでしょうからね。
ナレーター: なるほど。テスラの人型ロボットについて、退社する前に取り組んでおられましたよね。たくさん質問したいことがありますが、まず一つ。基本的に、何が転用できるんでしょうか?
アンドレイ: 基本的にすべてが転用できます。人々はそれを十分に理解していないと思います。
ナレーター: それは大きな主張ですね。
アンドレイ: はい、車は基本的にロボットなんです。実際に見てみると、車はロボットです。テスラは車会社ではないと思います。それは誤解を招く表現です。テスラはロボティクス会社、しかも大規模なロボティクス会社なんです。
「大規模」というのも全く別の変数です。彼らは単一のものを作っているわけではなく、物を作る機械を作っているんです。これは全く別のことです。
だから、テスラは大規模なロボティクス会社だと思います。車から人型ロボットへの転用に関しては、それほど多くの作業は必要ありませんでした。実際、Optimusロボットの初期バージョンは、自分が車だと思っていたんです。
同じコンピューターを搭載し、同じカメラを使っていたので、本当に面白かったです。車用のネットワークをロボットで動かしていたんですが、オフィスを歩き回っていたりしてね。走行可能な空間を認識しようとしていたんですが、今はすべて歩行空間なんです。少し微調整は必要でしたが、ある程度は一般化できていました。運転していると思っていたんですが、実際には環境を移動していたんです。
これは合理的な考え方だと思います。多くのものが転用できるんです。ただし、例えばアクチュエーションやアクションデータなどは欠けています。
もう一つ言えるのは、本当に多くのものが転用できるということです。Optimusの開発が始まった速さは、私にとって非常に印象的でした。イーロンが「これをやる」と言った瞬間、人々は適切なツールを持って現れたんです。すべてのものが非常に迅速に現れました。すべてのCADモデルやサプライチェーンの要素など。
テスラには、ロボティクスを構築するための社内の専門知識がこんなにもあるのかと驚きました。すべて同じツールを使っていて、それらが車から再構成されているだけなんです。映画「トランスフォーマー」のように、再構成され、再配置されているだけで、基本的には同じものです。同じような部品が必要で、ハードウェア面でもスケール面でも、頭脳の部分でも、同じようなことを考える必要があります。
頭脳の部分でも、特定のネットワークだけでなく、アプローチ全体やラベリングチーム、それらがどのように連携するかなど、多くのものが転用できます。人々が取っているアプローチも同じです。本当に多くのものが転用できるんです。
ナレーター: 人型ロボティクスや人間型のものの最初の応用分野はどうなると思いますか? 多くの人は洗濯をしてくれるようなビジョンを持っていますが、それは後になると思います。
アンドレイ: B2C（企業対消費者）から始めるのは正しくないと思います。なぜなら、ロボットがおばあちゃんを押し倒すみたいなことは避けたいからです。法的責任が大きすぎるんです。これらのロボットはまだ完璽ではなく、ある程度の作業が必要です。
最初の顧客は自分自身だと思います。おそらくテスラはこれをやるでしょう。テスラにはとても期待しています。皆さんにも分かると思いますが、最初の顧客は自分自身で、工場内で育てていくんです。おそらく多くの物資取り扱いなどをさせるでしょう。
こうすれば、第三者との契約を結ぶ必要がありません。それは本当に大変で、弁護士が関わったりしますからね。自社内で育てた後、次はB2B（企業間取引）に進むと思います。大規模な倉庫を持つ他の企業に行って、物資取り扱いなどができます。契約が結ばれ、フェンスが設置されたりするでしょう。
企業内で育成した後に、B2Cアプリケーションに進むと思います。B2Cロボットも見られるようになると思います。Unitreeなどが人型ロボットの開発を始めていますね。私も一台欲しいです。
ナレーター: 実際に購入されたんですか?
アンドレイ: はい、G1を購入しました。おそらくそういったプラットフォームの上に構築するエコシステムが出てくるでしょう。でも、大規模に勝利するのは、私が説明したようなアプローチだと予想しています。
最初は多くの物資取り扱いから始まり、徐々により具体的な人間中心のタスクに移っていくでしょう。私が本当に楽しみにしているのは、ニール・フリードマンの葉掃除チャレンジです。Optimusが通りを静かに歩いて、一枚一枚の葉を拾うのを見てみたいです。そうすれば、リーフブロワーが要らなくなりますからね。これはうまくいくと思いますし、素晴らしいタスクです。最初のアプリケーションの一つになることを願っています。
ナレーター: 熊手で掃くのもいいかもしれませんね。静かに熊手で掃く。
アンドレイ: そうですね、かわいいですね。実際、人型ではない機械でも動くものはありますが。
ナレーター: 人型ロボットの理論について少し話せますか? 最も単純なバージョンは、世界は人間のために作られているので、一つのハードウェアセットを作れば、そのハードウェアセットで増加するタスクのセットを実行できるモデルを構築するのが正しいというものです。
一方で、人間は特定のタスクに最適化されているわけではないので、より強く、大きく、小さくするなど、超人的なことをすべきではないかという別の考え方もありますよね。これについてどう考えますか?
アンドレイ: 人々は、単一のプラットフォームに投資される固定費の複雑さを過小評価しているかもしれません。単一のプラットフォームには大きなコストがかかるんです。だから、それを集中させて、すべてのことができる単一のプラットフォームを持つのは理にかなっていると思います。
人型という側面も非常に魅力的です。人々が非常に簡単に遠隔操作できるからです。これはデータ収集の観点から非常に有用です。通常見過ごされがちですが、人々は明らかに非常に簡単に遠隔操作できるんです。
もちろん、世界が人間のために設計されているという側面もあります。それも重要だと思います。人型プラットフォームにはいくつかのバリエーションがあると思いますが、どのプラットフォームにも大きな固定費がかかります。
最後にもう一つの側面は、異なるタスク間の転移学習から大きな恩恵を受けられることです。AIでは、多くのことをこなす単一のニューラルネットが本当に欲しいんです。そこから全ての知能と能力が得られるんです。
これは言語モデルが非常に興味深い理由でもあります。単一のテキストドメインで多くの異なる問題をマルチタスクで処理し、それらすべてが知識を共有し、単一のニューラルネットで結合されているからです。
そういったプラットフォームが欲しいんです。葉拾いのために収集したすべてのデータが、他のすべてのタスクに恩恵をもたらすようなものが。特定の目的のためだけにものを作っていると、他のすべてのタスク間の転移から多くの恩恵を受けられないんです。
ナレーター: G1は3万ドルくらいですよね。でも、非常に高性能な人型ロボットを一定のコスト以下で作るのは難しいように思えます。例えば、腕を車輪に付けて何かをさせたいなら、初期段階では汎用プラットフォームにもっと安価なアプローチがあるのではないでしょうか?
アンドレイ: はい、ハードウェアの観点からより安価な汎用プラットフォームへのアプローチはあり得ると思います。足の代わりに車輪を付けるなどですね。でも、それが局所的な最適解に陥ってしまう可能性を少し心配しています。
長期的には、プラットフォームを一つ選んでそれを完璽にすることが良い賭けだと思います。もう一つ言えるのは、人々にとって親しみやすく、理解しやすいものになると思うんです。話しかけたくなるかもしれません。
心理的な側面も人型プラットフォームに有利に働くと思います。ただし、人々が怖がって、より抽象的なプラットフォームを好む可能性もあります。でも、何か得体の知れないものが動き回るのを見て、それが親しみやすいかどうかはわかりませんね。
ナレーター: Unitreeのもう一つの形態は犬型ですよね。それはより親しみやすく、馴染みのあるものに見えます。
アンドレイ: でも、人々が「ブラックミラー」を見た後だと、突然犬型が怖いものに変わってしまうかもしれません。心理的な面を考えるのは難しいですね。
私は、人型の方が人々にとって何が起こっているのかを理解しやすいと思います。
ナレーター: ロボティクスの未来を実現するための技術的マイルストーンとして、何が欠けていると思いますか?
アンドレイ: 正直、あまり明確な見通しは持っていません。人型の形態に関して言えば、例えば下半身については、デモンストレーションからの模倣学習をする必要はないと思います。下半身は多くの倒立振子制御の問題だからです。
上半身の方が、遠隔操作やデータ収集、エンドツーエンドなどが必要になります。そういう意味で、すべてがとてもハイブリッドになると思います。これらのシステムがどのように相互作用するのかはわかりません。
ロボティクスの分野で働いている人々と話すと、彼らの多くはアクチュエーションや操作、特に指の操作などに焦点を当てています。
最初のうちは、地に足をつけて作業を行い、95%の時間うまく機能するものを作るために、多くの遠隔操作が必要になると予想しています。そして、人間対ロボットの比率について話し合い、徐々にタスクを直接行う人々からロボットの監督者へと移行していくでしょう。これらのことは時間をかけて、かなり徐々に起こっていくと思います。
私が本当によく知っているような個々の障害はないと思います。ただ、多くの地道な作業が必要だと思います。ツールは利用可能です。Transformerは美しい組織の塊のようなもので、任意のタスクに適用できます。必要なのはデータを適切な形式に置き、それを訓練し、実験し、展開し、反復することだけです。それは多くの地道な作業なんです。技術的に私たちを妨げている単一の個別の要因はないと思います。
ナレーター: 大規模言語モデル研究の現状はどうですか?
アンドレイ: とても良い状態にあると思います。Transformerが本当にすごいものだということが、十分に理解されていないかもしれません。単なる別のニューラルネットではなく、非常に汎用的な素晴らしいニューラルネットなんです。
例えば、ニューラルネットワークのスケーリング則について人々が話すとき、そのスケーリング則は実際には大部分がTransformerの特性なんです。Transformer以前は、人々はLSTMを積み重ねたりしていましたが、実際にはきれいなスケーリング則は得られませんでした。この物事は実際には訓練できず、機能しませんでした。
Transformerが初めて実際にスケールし、スケーリング則が得られ、すべてが理にかなうようになったんです。これは汎用的な訓練可能なコンピューターだと私は考えています。微分可能なコンピューターのようなもので、入力と出力を与え、何十億もの例で訓練すると、バックプロパゲーションで訓練できるんです。
実際にそれ自身をタスクを行うように調整するんです。私たちがアルゴリズム空間で偶然見つけた魔法のようなものだと思います。いくつかの個々のイノベーションがあって、それが組み合わさったんです。
残差接続があり、それは以前から存在していました。層正規化がそれに組み込まれ、注意機構ブロックがあります。tanh関数のような飽和する非線形性がないのも特徴です。これらは勾配信号を殺してしまうので、Transformerには存在しません。
4、5個のイノベーションがあり、それらがすべて存在し、Transformerとしてまとめられました。それがGoogleが論文で発表したことです。そしてこれが実際に訓練できるんです。突然、スケーリング則が得られ、非常に大規模に訓練できる組織の塊ができたんです。これは大きなブレイクスルーでした。
ナレーター: このブレイクスルーの限界には近づいていないと感じておられるんですね。データの壁や、次の世代のスケールアップがどれほど高くつくかという議論がありますが、これについてどう考えますか?
アンドレイ: そこが、ニューラルネットワークのアーキテクチャがもはや根本的な障害ではなくなっているポイントだと思います。Transformer以前は障害でしたが、今はそうではありません。
今では、損失関数は何か、データセットは何かということについてずっと多く話し合っています。これらが障害になっているんです。何でも欲しいものに基づいて再構成される汎用的な組織の塊ではなくなっています。
だから、多くの活動がそちらに移っているんです。この技術を応用している多くの企業は、もはやTransformerのアーキテクチャについて考えていません。例えば、Llamaのリリースでは、Transformerはそれほど変わっていません。
RoPE (Rotary Position Embedding) の相対位置エンコーディングを追加しましたが、これが主な変更点です。他のことはあまり重要ではありません。小さなことで3%くらいプラスになる程度です。本当に、RoPEだけが組み込まれた主な変更点なんです。
これが過去5年間くらいのTransformerの変化のすべてです。そこにはそれほど多くのイノベーションはありませんでした。みんなそれを当たり前のものとして扱い、訓練しているだけです。本当に、みんなはほとんどデータセットと損失関数の詳細に関してイノベーションを起こしているんです。そこに全ての活動が移っているんです。
ナレーター: でも、その領域では、インターネットのデータを使っていた頃の方が簡単だったという議論がありますよね。インターネットのデータは使い尽くしてしまったので、今の問題は合成データやより高価なデータ収集に関するものだと。この点についてはどう思われますか?
アンドレイ: それは良い指摘です。今、言語モデルの分野ではそこに多くの活動が移っています。インターネットのデータは、Transformerに欲しいデータではありません。それは驚くほど遠くまで到達できる最近傍のようなものですが、インターネットのデータは単なるウェブページの集まりです。
本当に欲しいのは、あなたの脳の内なる思考の独白です。それが理想的な軌跡です。もし私たちがそのような脳内の軌跡を10億個持っていたら、大まかに言えばAGIはここにあるでしょう。大部分においてはね。でも、私たちにはそれがないんです。
だから今、多くの活動が向かっているのは、インターネットのデータを内なる独白の形式に再構成することです。インターネットのデータが実際にかなり近いところまで到達できるのは、単にインターネットに十分な推論の痕跡と大量の知識が含まれているからで、Transformerがそれをうまく機能させるんです。
多くの活動は今、データセットをこれらの内なる独白の形式に再構成することに向けられています。そのために大量の合成データ生成が役立つと思います。
これに関して興味深いのは、現在のモデルが次世代モデルの作成をどの程度助けているかということです。それは一種の改善の階段のようなものです。
ナレーター: 合成データがどれくらい重要だと思いますか? あるいは、それでどこまで到達できると思いますか? 各モデルが後続のモデルをより良く訓練するツールを作成するのに役立っているというお話がありましたが、その一部は合成データですよね。合成データの部分はどれくらい重要だと考えていますか?
アンドレイ: 合成データは、私たちが進歩できる唯一の方法だと思います。それを機能させる必要があります。ただし、合成データには注意が必要です。
これらのモデルは静かに崩壊するというのが主な問題の一つです。例えば、ChatGPTにジョークを言ってもらうと、実は3つくらいしか知らないことに気づくでしょう。ほとんどの場合1つのジョークしか出さず、時々3つのジョークを出すくらいです。
これは、モデルが崩壊していて、それが静かに起こっているからです。個々の出力を見ていると、単一の例しか見えませんが、実際に分布を見ると、それほど多様な分布ではないことに気づきます。静かに崩壊しているんです。
合成データ生成を行う際、これは問題になります。なぜなら、実際にはエントロピー、つまりデータセットの多様性と豊かさが欲しいからです。そうでないと、崩壊したデータセットを得ることになり、個々の例を見ただけでは気づきませんが、分布は大量のエントロピーと豊かさを失っているんです。
そして静かに悪化していきます。だからこそ非常に注意深くなければならず、データセットのエントロピーを維持する必要があるんです。そのためのテクニックがたくさんあります。
例えば、最近誰かがペルソナデータセットをリリースしました。これは10億の個性、つまり人間のような背景のデータセットです。「私は教師です」とか「私はアーティストです」「ここに住んでいます」「これをします」といった、架空の人間の背景に関する短い段落です。
合成データ生成を行う際、単に「このタスクを完了し、このようにしてください」というだけでなく、「この人に説明するつもりで想像してください」というような情報を入れるんです。これにより、より多くの空間を探索させ、いくらかのエントロピーを得ることができます。
エントロピーを注入し、分布を維持することに非常に注意深くなければなりません。これが難しい部分で、一般的に人々が十分に理解していないかもしれません。
基本的に、合成データは絶対に未来だと思います。データが不足することはないと私は思っています。ただ、注意深くなければならないんです。
ナレーター: この研究から、人間の認知について何を学んでいると思いますか?
アンドレイ: 私たちが学んでいることについては慎重になる必要があります。例えば、私たちが欲しい推論の軌跡の形を理解することは、実際に脳がどのように機能するかを理解するのに役立つと主張する人もいるかもしれません。
これらの類推には注意が必要ですが、一般的に、いくつかの類推を引き出すことはできると思います。例えば、Transformerは実際に人間の脳よりも多くの面で優れていると思います。実際にはより効率的なシステムなんです。
人間の脳ほど上手く機能しない主な理由は、おもにデータの問題だと思います。これが最初の近似的な説明です。
例えば、Transformerがシーケンスを記憶する能力は人間よりもずっと優れています。シーケンスを与えて、一度の前方・後方パスを行うと、最初の数要素を与えるだけで残りのシーケンスを完成させることができます。シーケンスを記憶する能力が非常に高いんです。
人間にシーケンスを一度だけ提示しても、そのように覚えることはできません。Transformerは実際にいくつかの面で優れていると思います。
勾配ベースの最適化、つまりニューラルネットの訓練で常に行っている前方・後方更新が、実際にいくつかの面で脳よりも効率的である可能性が高いと思います。
これらのモデルは優れていますが、まだ輝く準備ができていないだけです。しかし、多くの認知的側面において、適切な入力があれば、より優れたパフォーマンスを示すかもしれません。
ナレーター: それは一般的にコンピューターがあらゆる用途で真実ですよね。記憶力の話もそうです。
アンドレイ: そのとおりです。人間の脳には多くの制約があると思います。ワーキングメモリーが非常に小さいです。Transformerははるかに大きなワーキングメモリーを持っていて、これは今後も続くでしょう。
Transformerははるかに効率的な学習者です。人間の脳はあらゆる種類の制約の下で機能しています。人間の脳がバックプロパゲーションを行っているかどうかは明らかではありません。それがどのように機能するのかは明らかではなく、非常に確率的で動的なシステムです。周囲の条件などの制約の下で機能しています。
私たちが持っているものは、実際に脳よりも優れている可能性があると思います。ただ、まだそこまで達していないだけです。
ナレーター: 時間とともに異なるAIシステムで人間を強化することについて、どう考えますか? それはありそうな方向性だと思いますか、それとも考えにくいですか?
アンドレイ: もちろん、一般的にはそうだと思います。でも、どういう意味でしょうか?
ナレーター: 一般的には、ツールとして使用するという抽象的なバージョンがあります。これは外部バージョンです。そして、融合シナリオがあります。多くの人々がこれについて話しています。
アンドレイ: そうですね、私たちは既にある程度融合しているんです。入出力のボトルネックはありますが、ほとんどの場合、これらのモデルのいずれかを指先で使えれば、それは少し違います。
人々は40年か50年前からこの議論をしていて、技術的なツールは単に人間の能力の拡張だと主張してきました。「コンピューターは人間の心の自転車だ」というようなね。
でも、AIコミュニティの一部には、例えば将来のAIとの潜在的な対立を回避する方法として、何らかの形の融合を通じてそれを行うべきだと考えている人たちがいます。
ナレーター: NeuraLinkのピッチのようなものですね。
アンドレイ: そうですね。この融合がどのようなものになるのかはまだわかりません。でも、ツール使用への入出力を減らしたいというのは間違いなく理解できます。
これを新皮質の上に構築される外皮質のようなものとして見ています。単に次の層であり、たまたまクラウドにあるだけなんです。でも、それは脳の次の層なんです。
ナレーター: 2000年代初頭の「Accelerando」という本には、基本的にすべてが脳に計算的に接続されたゴーグルの中に実体化されるというバージョンがあります。それを失うと、自分のパーソナリティーや記憶の一部を失ったように感じるというものです。
アンドレイ: それはとてもありそうですね。今日でも、スマートフォンはすでにほとんどそうなっています。これからはもっとひどくなると思います。テクノロジーを離れると、自然の中の裸の人間になってしまい、知性の一部を失うような感じがするでしょう。
ナレーター: その非常に単純な例が、ただの地図ですよね。今では多くの人が、常にターンバイターンのナビゲーションを使っているので、自分の街をうまく移動できなくなっていることに気づきました。
例えば、ユニバーサル翻訳機能があれば、それはそれほど遠くない未来だと思いますが、テクノロジーを置いていくと、英語を話さない人々と話す能力を失ってしまいます。
アンドレイ: 私は、脳のその部分を更なる研究に再利用することに全く問題を感じません。雑誌をスワイプしようとする子供の動画を見たことがありますか? 面白いのは、この子供が何が自然で何がその上にあるテクノロジーなのかを理解していないことです。
テクノロジーが非常に透明になっているので、人々はただツールを当たり前のものとして扱い始め、それを取り除いたときに初めて、何がテクノロジーで何がそうでないかを理解するんです。
例えば、常に翻訳してくれたり、何かをしてくれるものを着用していると、人々は基本的な認知能力を失うかもしれません。スペイン語を話す人を理解できないなんて、何てことだ、みたいな。
あるいは、ディズニーランドでは全てのオブジェクトが生きているようなものです。私たちはそのような世界に潜在的に到達する可能性があります。なぜ物に話しかけられないのか、と。今日でもAlexaに話しかけて何かを頼むことができますよね。
ナレーター: 子供と対話できるAIを組み込んだおもちゃを作っている会社もありますね。
アンドレイ: ドアに「開いて」と言えないのは奇妙じゃありませんか? 何てことだ。
ナレーター: 「デモリションマン」や「アイ、ロボット」を見たことがありますか? 物に話しかけられないことを人々が笑っていますよね。
もし私たちが外皮質について話しているなら、それへのアクセスを民主化することは非常に根本的に重要なことのように思えます。現在の大規模言語モデル研究の市場構造について、どう考えていますか? 実際に次世代の進歩的な訓練を行えるのは少数の大規模な研究所だけですが、これは将来的に人々がアクセスできるものにどのように反映されるでしょうか?
アンドレイ: あなたが暗示しているのは、エコシステムの状態についてですね。私たちには少数の閉鎖的なプラットフォームの寡占状態があり、それに遅れをとっているオープンプラットフォームがあります。MetaのLlamaなどですね。これは一種のオープンソースエコシステムを反映しています。
これを外皮質として考え始めると、暗号の世界に「あなたの鍵ではない、あなたのトークンではない」という言葉がありますが、「あなたの重みではない、あなたの脳ではない」というようなことになるのでしょうか。会社が実質的にあなたの外皮質を制御しているとすると、それは少し侵襲的に感じ始めるかもしれません。これが私の外皮質だとすれば、人々はその所有権についてもっと気にするようになると思います。
ナレーター: そうですね、自分の脳を貸しているような気がしますね。
アンドレイ: 脳を貸すというのは奇妙に感じますよね。思考実験として、より良い脳を借りるために所有権と制御を手放す気があるかどうか、という問いがあります。私はその気がありますね。
ナレーター: そうですね、それがトレードオフだと思います。
アンドレイ: どのように機能するか見てみる必要がありますが、おそらくデフォルトでは素晴らしい閉鎖版を使用し、様々なシナリオでフォールバックを持つことが可能かもしれません。実際、今日でもそのような形になりつつありますよね。
例えば、一部の閉鎖ソースプロバイダーのAPIがダウンしたとき、人々は完全に制御できるオープンエコシステムへのフォールバックを実装し始めます。それによって力を得られると感じるんです。
ナレーター: そうですね、脳のためのものも同じような形になるかもしれません。何か問題が起きたときはオープンソースのものにフォールバックしますが、ほとんどの場合は...
アンドレイ: そうですね。だからこそ、オープンソースが進歩し続けることがとても重要なんです。
ナレーター: 100%同意します。これは今のところ明白な点ではないかもしれませんし、人々が現時点で同意していることでもないかもしれません。
アンドレイ: その通りです、100%そう思います。
ナレーター: 一つ気になっているのは、ある意味で最小の性能を持つモデルがどれくらいの大きさになるのか、パラメータサイズやその他の指標でどう考えるべきかということです。この点についてのあなたの見解を聞かせてください。蒸留や小規模モデルについてもたくさん考えてこられましたよね。
アンドレイ: 驚くほど小さくできると思います。現在のモデルは、重要でないものを覚えるために大量の容量を無駄にしていると思います。例えば、SHAハッシュを覚えたり、古代の...
ナレーター: データセットが最適化されていないからですね。
アンドレイ: その通りです。これはなくなっていくと思います。私たちは認知的な核心部分に到達する必要があります。その認知的な核心部分は非常に小さくできると思います。それは単に考える物事であり、情報を探す必要がある場合は、異なるツールの使い方を知っているだけです。
ナレーター: それは30億パラメータくらいでしょうか、それとも200億パラメータくらいでしょうか?
アンドレイ: 10億パラメータでも十分だと思います。おそらくそのポイントに到達するでしょう。モデルは非常に小さくなる可能性があります。モデルが非常に小さくなれる理由は、基本的に蒸留がうまく機能するからだと思います。
蒸留は、非常に大きなモデルや大量の計算などを使って、非常に小さなモデルを監督する方法です。実際に、非常に小さなレベルに多くの能力を詰め込むことができるんです。
ナレーター: それについて、何か数学的な表現や情報理論的な定式化はありますか? 今では、認知能力とモデルサイズの関係を計算できるはずのように感じます。
アンドレイ: そうですね、一つの考え方として、インターネットのデータセットに戻ってみましょう。それが私たちが扱っているものです。インターネットは0.001%が認知で、99.99%が単なる情報です。そしてその大部分は思考の部分には役立ちません。
ナレーター: もしかしたら、認知能力をモデルサイズに対して数学的に表現する方法はあるのでしょうか? あるいは、達成しようとしていることに対して、最小や最大をどのように捉えるのでしょうか? それを表現する良い方法はないかもしれません。
アンドレイ: そうですね、おそらく10億パラメータくらいで良い認知的な核心が得られると思います。10億でさえ多すぎるかもしれません。まだわかりませんが。
ナレーター: エッジデバイスとクラウドの違い、そしてモデルを使用する純粋なコストを考えると、それはとてもエキサイティングですね。
アンドレイ: そうですね、とてもエキサイティングです。10億パラメータ未満で、ローカルデバイスに外皮質を持つことができるんです。
ナレーター: おそらく単一のモデルではないでしょうね。これが実際にどのように展開されるかを考えるのは面白いです。並列化の恩恵を受けたいと思うんです。順次的なプロセスではなく、並列プロセスが欲しいんです。
ある程度、企業も一種の作業の並列化のようなものですが、情報処理と組織内での情報の削減が必要なため、企業には階層があります。
おそらく、モデルの会社のようなものができるのではないでしょうか。異なる能力を持つモデルが、様々な固有のドメインに特化して存在する可能性が高いと思います。プログラマーがいたり、その他の役割がいたりして。
実際に企業とかなり似たものになり始めるかもしれません。プログラマーやプログラムマネージャーなど、似たような役割のモデルが並列に動作し、あなたに代わって計算を調整するんです。
単一のものとして考えるのではなく、より生物学的な生態系のような、専門化された役割やニッチを持つスウォームやエコシステムのようなものかもしれません。
ナレーター: 問題の難しさや特殊性に応じて、スウォームの他の部分への自動的なエスカレーションがあるかもしれませんね。
アンドレイ: そうですね。CEOは本当に優秀なクラウドモデルかもしれませんが、作業の中心は、もっと安価な、場合によってはオープンソースのモデルかもしれません。
ナレーター: 私のコスト関数はあなたのコスト関数とは異なりますからね。
アンドレイ: そうですね、それは面白いかもしれません。
ナレーター: OpenAIを退社されて、今は教育に取り組んでおられますが、常に教育者でしたよね。なぜこれをされているんですか?
アンドレイ: まず、私はいつも教育者でした。学ぶことが大好きで、教えることも大好きです。だから、長い間非常に情熱を持っていた分野なんです。
もう一つのマクロな視点として、AIには多くの活動がありますが、そのほとんどは人々を置き換えたり、排除したりすることだと思います。人々を脇に押しのけるようなものです。
でも私は常に、人々を力づける何かにもっと興味があります。高いレベルで言えば、私は人間チームの一員であり、AIが人々を力づけるためにできることに興味があるんです。
自動化の傍観者として人々が存在する未来は望んでいません。人々がとても力づけられた状態にあり、今日よりもずっと素晴らしくなることを望んでいます。
私が非常に興味深いと感じるもう一つの側面は、人々がすべての科目で完璽なチューターを持っていたら、どこまで行けるかということです。完璽なカリキュラムがあれば、人々は本当に遠くまで行けると思うんです。
例えば、お金持ちの人々がチューターを雇って、実際にかなり遠くまで行けることを見ています。AIを使ってそれに近づけると思いますし、それを超えることさえできるかもしれません。
ナレーター: 実際、1980年代からそれに関する明確な文献がありますよね。1対1のチュートリングで、人々は1標準偏差くらい良くなるという...2標準偏差でしたっけ?
アンドレイ: ブルームの研究ですね。
ナレーター: そうです。それに関して本当に興味深い先例がたくさんあります。AIのレンズを通してそれをどのように実体化すると考えていますか? あるいは、それを本当に助けるような最初の種類の製品はどのようなものでしょうか?
「The Diamond Age」のような本では、若い女性のための絵入り入門書について語っていますよね。
アンドレイ: はい、確かにそういった側面にも触発されています。実際には、現在単一のコースを構築しようとしています。AIを学びたい人が行くべきコースにしたいんです。
基本的な問題は、私はすでにスタンフォード大学で CS231nというコースを教えていて、それは最初の深層学習クラスで、かなり成功しました。でも問題は、これらのクラスを本当にどうやってスケールアップするかということです。
対象となる聴衆を地球上の80億人にして、しかも彼らは異なる言語を話し、異なる能力レベルを持っています。単一の教師ではその聴衆にスケールしません。
そこで問題は、本当に優秀な教師のスケーリングを行うためにAIをどのように使用するかということです。
私の考え方は、教師が多くのコース作成とカリキュラムを行うということです。現在のAI能力では、モデルが良いコースを作成するには十分ではないと思います。
でも、学生へのフロントエンドになり、コースを彼らに解釈するには十分だと思います。基本的に、教師は人々のところに行かず、もはやフロントエンドではありません。教師はバックエンドにいて、教材とコースを設計し、AIがフロントエンドになります。
AIは異なる言語を話すことができ、コースを通じてあなたを導いてくれるんです。
ナレーター: それをTAのような経験と考えるべきでしょうか? それとも、それは良い類比ではありませんか?
アンドレイ: それは一つの考え方です。私はそれをAI TAと考えています。主に、学生へのフロントエンドとして考えています。実際に学生とインターフェースを取り、コースを通じて導くものです。
これは今日実現可能だと思います。ただ、まだ存在していないんです。本当に良いものにできると思います。そして、能力が向上するにつれて、時間とともにセットアップを様々な方法で再構成していくでしょう。
私は、今日のAI能力と、それについての良いモデルを持つことを好みます。多くの企業は、今日の能力を直感的に理解していないかもしれません。そのため、利用可能なものに対して先走りすぎたり、野心的でなさすぎたりするものを構築してしまうんです。
これは、可能なことと本当に興味深くエキサイティングなことの甘い地点だと思います。
ナレーター: あなたが言われたことに戻りたいのですが、それは特にあなたの研究における背景と理解を考えると、非常に刺激的だと思います。
基本的に、私たちはより良いツールを与えられた場合の人間のパフォーマンスの限界を知らないということですね。これは非常に簡単な類比があります。つい1ヶ月前にオリンピックがありましたよね。
パフォーマンス向上薬を別にすれば、今日の最高のマイルタイムや他のどのスポーツでも、10年前よりもずっと優れています。なぜなら、より早く訓練を始め、非常に異なるプログラムを持ち、はるかに優れた科学的理解を持ち、テクニックやPEを持っているからです。
あなたが、人間は適切なツールとカリキュラムから始めれば、はるかに遠くまで行けると信じているという事実は驚くべきことです。
アンドレイ: そうですね、私たちは可能性のほんの表面をかすっただけだと思います。基本的に二つの次元があると思います。
一つはグローバル化の次元で、すべての人に本当に良い教育を与えたいということです。もう一つは、一人の人がどこまで行けるかということです。
この両方が非常に興味深くエキサイティングだと思います。通常、1対1の学習について人々が話すとき、その人のレベルに合わせて挑戦させるという適応的な側面について話します。今日のAIでそれができると思いますか、それとも将来のことで、今日はより到達範囲と複数言語、グローバル化についてでしょうか?
アンドレイ: 例えば、異なる言語というのは非常に手が届きやすい果実やと思います。現在のモデルは実際に翻訳が非常に得意で、その場で教材をターゲットにして翻訳できます。多くのことが手の届く果実やと思います。
人の背景への適応性については、手の届く果実ではありませんが、それほど高くもないし、遠くもないと思います。これは絶対に欲しいものです。なぜなら、みんなが同じ背景を持って来るわけではないからです。
また、過去に他の分野に精通していれば、知っていることとの類推を作るのが非常に役立ちます。これは教育において非常に強力です。だからこそ、この次元を活用したいんです。
でも、これは明白ではなく、いくらかの作業が必要な点に近づき始めていると思います。簡単なバージョンはそれほど遠くないと思います。モデルに「ああ、私は物理学を知っています」や「これを知っています」とプロンプトを出すことを想像できます。おそらく何かが得られるでしょう。
でも、私が話しているのは、実際に機能するもの、時々機能するデモではなく、本当に機能するものについてです。人間がそうするように実際に機能するものです。
ナレーター: 適応性について質問した理由は、人々は異なるペースで学び、ある人には難しいと感じることが他の人には簡単だったりするからです。その文脈に合わせてどのようにモジュール化するかというのが少し気になりました。時間とともに、その人が得意なことや苦手なことをモデルに再導入することができるでしょうか?
アンドレイ: それがAIの面白いところです。これらの能力の多くは、ただプロンプトを出すだけで得られるような気がします。だから、いつもデモは得られますが、実際に製品を得られるでしょうか? そういう意味です。
この意味で言えば、デモは近いけど、製品は遠いと言えるでしょう。
ナレーター: 先ほど話していたことで非常に興味深いと思ったのは、研究コミュニティにおける系統のようなものです。特定のラボの出身者について皆がゴシップを話すような。実際、ノーベル賞受賞者の非常に高い割合が、以前のノーベル賞受賞者のラボで働いていたという事実があります。
文化や知識、あるいはブランディングかもしれませんが、何かが伝播しているんです。AI教育中心の世界では、系統をどのように維持するのでしょうか? それとも、それは重要ではないのでしょうか? ネットワークと知識の伝播のこれらの側面についてどう考えていますか?
アンドレイ: 実際、系統があまり重要ではない世界に住みたいと思っています。AIがその構造を少し破壊するのを助けることを願っています。
それは、有限で希少なリソースによる一種のゲートキーピングのように感じます。「この系統を持つ人の数は有限だ」というようなものです。だから、それを破壊できることを願っています。
それは実際の学習の一部であり、血統の一部でもあります。
ナレーター: それはまた集積効果でもありますね。なぜAIコミュニティの多くがベイエリアにあるのか、なぜフィンテックコミュニティの大部分がニューヨークにあるのか、というようなことです。
アンドレイ: そうですね、その多くは共通の興味や信念を持つ本当に賢い人々を集めることで、彼らはその共通の核から広がり、興味深い方法で知識を共有するんです。
ナレーター: その行動の多くは、特に若い人々にとっては、ある程度オンラインにシフトしていると思います。
アンドレイ: その一つの側面は教育的な側面です。今日、コミュニティの一部であれば、大量の教育と見習い期間を得られ、それはその分野で力をつけるのに非常に役立ちます。
もう一つの側面は、何に動機づけられ、何に取り組みたいと思うかという文化的な側面です。その文化が何を重視し、何を台座に置き、何を崇拝するかということです。
例えば、学術界ではh指数を気にします。みんなh指数や発表した論文の数を気にします。私もそのコミュニティの一部でした。そしてそれを見てきました。
今は違う場所に来て、すべての異なるコミュニティに異なるアイドルがいることに気づきました。これは人々が何に動機づけられ、どこから社会的地位を得て、何が実際に彼らにとって重要かということに大きな影響を与えます。
私も成長過程で異なるコミュニティの一部でした。スロバキアで育ち、それもとても異なる環境でした。カナダにいたときも非常に異なる環境でした。そこで重要だったのは...
ナレーター: ホッケーですね。
アンドレイ: そうです、ホッケーです。例えば、カナダのトロント大学にいたとき、トロントはあまり起業家精神のある環境ではありませんでした。
会社を始めるべきだということさえ思い浮かびません。それは人々がやっていることではないんです。それをしている友人を知らないし、それを目指すべきだとは思わないんです。創業者についての本を読んだり、彼らについて話したりする人はいません。それはあなたが憧れたり気にしたりするものではないんです。
みんなが話しているのは、「どこでインターンシップを得るの?」「その後どこで働くの?」ということです。そして、選ぶべき固定された会社のセットがあり、そのうちの一つに自分を合わせるべきだと受け入れられているんです。それがあなたが目指すものなんです。
これらの文化的側面は非常に強力で、おそらく支配的な変数かもしれません。今日では、教育的側面はより簡単なものになっていると感じるからです。すでに多くのものが利用可能です。
だから、主に文化的側面があなたが属しているものだと思います。
ナレーター: この点について、数週間前に話していたことで、オンラインでも投稿されていたと思いますが、学習と娯楽には違いがあり、学習は実際には難しいものであるべきだということですね。
これは、地位の問題や、誰がアイドルであるかという質問に関係していると思います。地位は大きな動機づけになります。
このようなシステムを通じて、どの程度動機づけを変えられると思いますか? もしそれが障害要因であれば、あなたは人々ができる限り遠くまで進むためのリソースを提供することに焦点を当てていますか? それともっと多くの人々に学ぶことを望ませたり、少なくともその道筋を歩ませたりすることを実際に変えたいと思っていますか?
アンドレイ: 「望む」は重要な言葉です。学ぶことをはるかに簡単にしたいと思います。そして、おそらく人々が学びたくない可能性もあります。
例えば今日、人々は実用的な理由で学びたがります。仕事を得たいからです。それは全く理解できます。
AGI以前の社会では、教育は有用です。人々はそれに動機づけられると思います。なぜなら、経済的に階段を上っているからです。
AGI以降の社会では、教育はより大きな範囲で娯楽になると思います。
ナレーター: 成功した結果としての教育も含めてですか? 単にコンテンツを流し見るだけでなく。
アンドレイ: そう思います。結果は理解し、学び、新しい知識に貢献できるようになることです。あるいはあなたがどのように定義するかによります。
200年前、300年前に科学をしていた人々が貴族や裕福な人々だったのは偶然ではありません。私たちは皆、貴族になるでしょう。
ナレーター: アンドレイと一緒に学ぶ。
アンドレイ: そうですね。何かを学ぶことは、脳のためにジムに行くようなものだと考えています。ジムに行くのは楽しいです。人々は重量挙げを楽しんだりします。一部の人々はジムに行きません。
ナレーター: いや、一部の人は行きますよ。
アンドレイ: そうですね、努力が必要です。でも、努力は必要ですが、ある意味で楽しいんです。そして、自分自身について良い気分になるという見返りもあります。
教育も基本的にそれと同じだと思います。だから、教育は楽しくあるべきではないと言うとき、それは特定の種類の楽しさだと思います。
AGI以降の世界では、人々が実際にジムに頻繁に行くようになることを願っています。身体的にだけでなく、精神的にも。そして、高度な教育を受けていることが尊敬されるようになることを願っています。
ナレーター: Eurekaについて最後の質問をしてもいいですか? 人々が興味を持つと思うので。最初のコースの対象者は誰ですか?
アンドレイ: コースの対象者については、主に学部レベルのコースだと考えています。技術分野で学部を卒業している人が理想的な対象者だと思います。
今、私たちは古い教育の概念を持っています。学校に行って卒業し、仕事に就くというものです。明らかに、これは完全に崩壊するでしょう。特に、技術が非常に急速に変化する社会では、人々はもっと頻繁に学校に戻ってくるでしょう。
だから、学部レベルではありますが、どの年齢でもそのレベルにある人が対象です。年齢は非常に多様になると思います。でも、主に技術的で、本当に良く理解したいと思っている人々が対象です。
ナレーター: いつ頃コースを受講できるようになりますか?
アンドレイ: 今年の遅くには希望していましたが、たくさんの気が散るものが積み重なっています。おそらく来年の初めくらいがタイムラインだと思います。非常に良いものにしようと努力しています。それには時間がかかるんです。
ナレーター: 実はもう一つ最後の質問があります。これは少し関連していますが、今日小さな子供がいるとしたら、将来役立つようになるために何を勉強させるべきだと思いますか?
アンドレイ: 正解があると思います。正解は主に数学、物理学、コンピューターサイエンスのような分野です。
その理由は、思考スキルに役立つからです。これが最高の思考スキルの核心だと私は考えています。もちろん、私には特定の背景がありますから、そう考えるのかもしれません。
でも、物理学の授業やその他の授業を受けたことが、私の考え方を形作りました。一般的な問題解決に非常に役立つと思います。
AGI以前の世界では、これは役立ちます。AGI以降でも、任意の能力で機能できる力を持った人間が欲しいでしょう。
だから、これが人々にとって正解だと思います。彼らがすべきこと、取るべきものです。これは役立つか、良いものです。だから、これが正解だと思います。
他のことは後から付け加えることができますが、人々が多くの時間と注意を持っている重要な時期には、主にこのような単純な操作を重視したタスクや作業負荷に時間を費やすべきです。記憶を重視したタスクや作業負荷ではありません。
ナレーター: 私は数学の学位を取りましたが、それをしているときに脳に新しい溝が刻まれているような感覚がありました。後になってからその溝を刻むのは難しくなります。
アンドレイ: もちろん、他の分野もたくさん入れるでしょう。他の分野に反対しているわけではありません。実際、多様性を持つことは美しいと思います。でも、80%くらいはこのようなものであるべきだと思います。
私たちは、ツールと比べると効率的な記憶装置ではありません。
ナレーター: これをしていただき、ありがとうございました。とても楽しかったです。
アンドレイ: ここに来られて良かったです。
ナレーター: Twitter の @no_prior_pod で私たちを見つけてください。YouTube チャンネルもフォローしてくださいね。顔を見たい方はそちらをどうぞ。Apple Podcasts、Spotify、その他お好みのプラットフォームで番組をフォローしてください。そうすれば毎週新しいエピソードが届きます。メール登録や各エピソードの書き起こしは no-pri.com でご覧いただけます。

この記事が気に入ったらサポートをしてみませんか？