【TheAIGRIDのAIニュース】英語解説を日本語で読む【2024年2月23日｜@TheAIGRID】
Google DeepMindの従業員によるロボティクスと大規模モデルのスケーリングに関するツイートが注目されました。このツイートでは、ロボティクスとAIの分野を揺るがす大きなニュースが数週間以内に発表されると予告されています。また、1X RoboticsのCEOによる、ドロイドの進歩に関するアップデートが、モラベックのパラドックスに疑問を投げかける内容でした。さらに、AIの安全性に関する懸念や、社会がどのようにこれらの技術の進歩に適応していくかの不確実性について触れられています。OpenAIとGoogleが新たな技術を開発していることも示唆されており、これらの発展がどのように私たちの生活に影響を与えるかについての議論がなされています。
公開日：2024年2月23日
※動画を再生してから読むのがオススメです。
With an insane week in AI, it's important that we make sure we stay on top of the AI news.
AIに関する狂気のような週であったことを踏まえ、私たちはAIのニュースに常に注意を払い続けることが重要です。
And that's what this video is going to show you, everything you missed.
そして、このビデオでは、あなたが見逃したすべてを紹介します。
And apparently, this first piece of news shows us that it might just be one month until everything changes.
そして、この最初のニュースは、すべてが変わるまであと1ヶ月かもしれないことを示しています。
And if you don't believe me, take a look at this.
もし私の言葉を信じていないなら、これを見てください。
So there was a recent tweet by Ted, and this is someone that actually works at Google AI/Google DeepMind.
最近、テッドという人物がツイートしたのですが、実際にGoogle AI/Google DeepMindで働いている人物です。
And essentially, this person is tweeting about robotics and scaling large models.
基本的に、この人物はロボティクスと大規模モデルの拡大についてツイートしています。
And essentially, he is someone that is working in the field of robotics.
基本的に、彼はロボティクスの分野で働いている人物です。
Now, this tweet that you can all see right here, if I zoom in, he stated that there will be a three or massive pieces of news coming out in the next weeks that will rock the robotics and AI space.
今、ここで皆さんが見ることができるこのツイートは、拡大すると、彼は次の数週間にロボティクスとAIの分野を揺るがす3つの大きなニュースが出ると述べています。
Adjust your timelines.
タイムラインを調整してください。
It will be a crazy 2024.
2024年は狂った年になるでしょう。
Now, of course, underneath that, he does state that it is not AGI.
それはもちろん、彼はそれがAGIではないと述べています。
And some people are stating that vague posting is not permitted.
そして、ある人々は曖昧な投稿は許可されていないと述べています。
But I did find it quite fascinating that he wasn't the only person that stated that this will be crazy.
しかし、彼だけがこれが狂ったことになると述べた唯一の人物ではないということを見つけました。
I'm going to come back to this tweet because despite from him, someone else is also getting I'm guessing whatever is going on in the robotics community, potentially, it seems like there has been some kind of internal thing that's been found within the robotics community.
彼以外にも、おそらくロボティクスコミュニティで何が起こっているのかを推測している他の人もいるので、このツイートに戻ってくるつもりです。おそらく、ロボティクスコミュニティ内で何か内部的な問題が見つかったようです。
I don't pay that much attention to robotics, but I will be, of course, due to the future.
私はロボティクスにそれほど注意を払っていませんが、将来的にはもちろんそうするでしょう。
But Bernt also said, and this is the guy who is the CEO and the founder of essentially 1X Robotics.
しかし、ベルントも述べています。これは、基本的に1X RoboticsのCEO兼創設者である人物です。
And this is the company that is working on full on end to end autonomy, essentially stated that new progress update on the droids dropping in for weeks looks like Moravec's paradox might be false.
そして、これは完全なエンドツーエンドの自律性に取り組んでいる会社であり、新しい進捗状況のアップデートが数週間後に投下されるようです。モラベックのパラドックスが誤っている可能性があるようです。
And we just didn't have the data.
そして、私たちは単にデータを持っていませんでした。
And if you don't know what Moravec's paradox is, is essentially the theory that what is difficult for robots is really easy for humans.
モラベックのパラドックスが何かわからない場合、それは基本的に、ロボットにとって難しいことは人間にとっては本当に簡単であり、逆もまた真であるという理論です。
And what is, of course, easy for robots is really difficult for humans.
そして、もちろん、ロボットにとって簡単なことは人間にとっては本当に難しいことです。
So you know how AI systems and robots, like they can like literally just do maths really, really quickly.
人工知能システムやロボットは、数学を本当に、本当にすごく速くできるって知ってる？
And for humans, sometimes we do struggle.
人間にとっては、時々苦労することもあるんです。
But for humans, we have great dexterity.
しかし人間には素晴らしい器用さがあります。
We can grab things like an apple, we can peel a banana and literally we can run off like a Dorito chip for an entire day.
りんごのようなものをつかむこともできるし、バナナの皮をむくこともできるし、文字通りドリトスチップのように一日中走り回ることもできます。
That is not something that robotics can do.
それはロボティクスができることではない。
So it seems that maybe there might be some kind of breakthrough that's going on.
だから、もしかしたら何か画期的なことが進行中なのかもしれない。
Now, what's crazy about this is that, of course, with Bernt and 1X, they seem to have already made some kind of breakthrough, because what we're seeing right here in this video, where we see these robots doing this end to end autonomy, this is one of the first kind of demos in which we've seen recently the kind of robotics being able to do this at such a really, really decent rate.
今、この点が狂っているのは、もちろん、ベルントと1Xと一緒に、彼らはすでに何か画期的なことを成し遂げているようだ、なぜなら、このビデオで見ているように、これらのロボットがこのエンドツーエンドの自律性を行っているのを見ると、最近見た中で、この種のロボティクスがこれを本当に、本当にまともな速度で行うのを初めて見たデモの一つだ。
So it seems that whatever kind of barrier that was stopping them previously, maybe they've made that.
以前彼らを止めていた何らかの障壁が、もしかしたら彼らがそれを乗り越えたのかもしれない。
And it seems that maybe across the board, it has been shared with these teams.
そして、おそらく全体的に、これらのチームと共有されているようだ。
And it seems like since the timelines, because this guy said dropping in for weeks.
そして、このタイムラインからすると、この人は数週間で訪れると言っていた。
And then, of course, someone said that there is a massive update coming out in the next couple of weeks that will rock the robotics and AI space.
おそらく、次の数週間で大規模なアップデートがリリースされ、ロボティクスとAIの分野を揺るがすことになると誰かが言った。
I think it could be something really, really crazy.
本当に、本当にクレイジーなことかもしれないと思います。
Maybe it's going to be a new architecture that combines the recent technology that we've seen with the robotics architecture.
おそらく、私たちが見てきた最新の技術とロボティクスのアーキテクチャを組み合わせた新しいアーキテクチャになるかもしれません。
Maybe it's going to be something different.
おそらく、何か違うものになるかもしれません。
I honestly have no idea.
正直、私には全くわかりません。
But what I do know is that someone saying that adjust your timelines, I feel like we've already adjusted our timelines with what we've seen with Sora, because we kind of didn't expect that technology to be that good.
しかし、私が知っていることは、誰かが「タイムラインを調整するように」と言っていることです。私たちはSoraで見た技術がそれほど良いとは思っていなかったので、すでにタイムラインを調整したような気がします。
But this isn't someone that is, I guess you could say farming engagement, because sometimes there are people out there that do farm engagement and do farm, I guess you could say, a lot of hype.
この場合は、いわゆるエンゲージメントを稼ぐために活動しているわけではありませんね。なぜなら、エンゲージメントや、いわば大きな話題を稼ぐために活動している人もいるからです。
But I don't think there's someone that is doing that.
しかし、そうしている人はいないとは思います。
But it does seem like across the board, we are going to be getting some kind of massive update.
しかし、どうやら全体的に、何らかの大規模なアップデートが来るようです。
So I'm going to be excited for that.
私はそれを楽しみにしています。
But at the same time, I am going to be a little bit apprehensive to this.
しかし、同時に、私はこれに少し不安を感じるつもりです。
And I'm not someone who's a doomer or like a luddite or someone that just is afraid of technology.
私は、技術恐怖症やラッダイト（技術反対派）であったり、単に技術を恐れるような人ではありません。
But I think the problem is, but I think the biggest concern, I guess you could say, is that I just don't know what's coming like nobody knows what's coming.
しかし、問題は、そして最大の懸念点は、私自身、何が起こるか分からないということです。誰もが何が来るのか知らないということです。
A lot of the researchers don't know what's coming.
多くの研究者たちも何が起こるかわかりません。
We don't know how society is going to adapt.
社会がどのように適応するかわかりません。
We don't know what's going to happen with UBI.
UBIに何が起こるかわかりません。
We don't know if there's going to be riots in the streets for people going back.
人々が戻ってくることで暴動が起こるかどうかもわかりません。
I mean, it's just a very, very uncertain time, which is, I guess you could say a little bit concerning.
つまり、まあ少し心配な時期なのですが、非常に不確かな時期でもあります。
But at the same time, it's also very, very exciting because the potential for good and the potential for abundance is really, really here.
しかし、同時に、非常にワクワクする時でもあります。善の可能性や豊かさの可能性が本当にここにあるからです。
And this is something that we just didn't think would happen potentially even in our lifetime.
そして、これは、私たちの生涯の中でも起こるとは思わなかったことです。
So it's an exciting period to be in and also a quite daunting one, depending on where you stand on the spectrum.
それは興奮する時期であり、また、スペクトルのどこに立っているかによっては、かなり圧倒される時期でもあります。
So that kind of update is really, really important.
その種の更新は本当に、本当に重要です。
If you did miss yesterday's video is likely one of the most important videos.
もし昨日のビデオを見逃した場合、それはおそらく最も重要なビデオの1つです。
I'm not going to say it's going to be the most important video of the year because we've got a long year to go.
私は今年の最も重要なビデオになるとは言いません、なぜならまだ長い年が残っているからです。
We've got a long 10 months.
私たちはまだ10か月もあります。
And of course, we don't have no idea what OpenAI and Google is still cooking up.
そしてもちろん、OpenAIやGoogleがまだ何を考えているのか全くわかりません。
But essentially, there was a magic breakthrough that essentially got this person to invest a hundred million dollars into a AI coding startup.
しかし基本的に、この人をAIコーディングスタートアップに1億ドル投資させた魔法の突破口がありました。
And it was pretty crazy because this guy essentially wrote a hundred million check to the developer of an AI company and essentially not the developer to like CEO, of course, because essentially they saw something that apparently is just so good that they just essentially just had to invest straight away.
そしてかなりクレイジーだったのは、この人がAI会社の開発者に1億ドルの小切手を書いたことで、もちろんCEOにではなく、基本的に彼らは何かを見たのです、明らかにそれはただ単に素晴らしいものだったので、すぐに投資しなければならなかったのです。
And I think what they essentially described it was, was they essentially described it as something that had active reasoning capabilities similar to the Q-Star model developed by OpenAI last year.
そして彼らが基本的にそれを説明したと思うのは、昨年OpenAIが開発したQ-Starモデルに類似した能動的推論能力を持っていたということでした。
Now, I'm guessing that most people did watch the video yesterday in which I talked about how this is pretty much it because now there's kind of this race to the bottom.
今、昨日のビデオをほとんどの人が見たと思うのですが、これがほぼそれだと話した内容について、今、どういうわけかこの底辺への競争が始まっているということです。
And I want to just add a point when I said race to the bottom, a lot of people saying, why is it a race to the bottom?
レースが下に向かっていると言ったときに一点付け加えたいのは、なぜ下に向かっていると言うのかと多くの人が言っていることです。
It's a race to the bottom because it's something that of course, technology gets better.
もちろん、技術が向上するということなので、これは底辺への競争です。
We get better technology.
私たちはより良いテクノロジーを手に入れます。
Of course, we get better products.
もちろん、私たちはより良い製品を手に入れます。
Of course, that is good.
もちろん、それは良いことです。
But on the other side, you do have the existential crisis, which is where deepfakes get worse.
しかし、他方で、ディープフェイクが悪化するという存立危機があります。
We do have more misinformation campaigns.
私たちはより多くの誤情報キャンペーンを持っています。
We do have better image generation, which is, of course bad for, like I said, misinformation.
もちろん、私たちはより良い画像生成を持っていますが、それは、私が言ったように、誤情報にとって悪いです。
AI takes the video.
AIがビデオを取ります。
If that accelerates on a crazy timeline, you of course have even more information, misinformation.
もしそれが狂ったタイムラインで加速すれば、もちろん、さらに多くの情報、誤情報が生まれます。
And of course, we have the existential crisis, which is superintelligence being developed, which is exactly what this company is doing.
そしてもちろん、我々は超知能が開発されるという存在的危機を抱えています。これがまさにこの会社が行っていることです。
And if they do that, we could have some kind of, I guess you could say, existential threat being developed, which is why I say that it's a race to the bottom.
そしてもしそれを行うと、存在の脅威が発展する可能性があると言えるでしょう。だからこそ、私はそれが最悪の状況になる競争だと言っているのです。
Because whilst you're developing this technology, you do have to be very, very safe.
この技術を開発する間は、非常に安全でなければなりません。
But if you're not being safe, it's a race to the bottom because if they just put out a superintelligent entity or an AGI level system and people manage to jailbreak it and they're able to just cause havoc in ridiculous capabilities, it's not going to be good for anyone.
しかし、もし安全でない場合、最悪の状況になる可能性があります。もし彼らがただ超知能なエンティティやAGIレベルのシステムをリリースし、人々がそれをジェイルブレイクして破壊行為を行うことができるようになれば、誰にとっても良いことではありません。
So that's why I said it's a race to the bottom, because whilst these systems are good, we also always do need to ensure the safety of the public.
だからこそ、私はそれが最悪の状況になる競争だと言ったのです。これらのシステムが優れている一方で、常に一般市民の安全を確保する必要があるからです。
And that is something that I think that when two companies are fighting to essentially have the spotlight and be the best company and, of course, deliver a return to their investors, it can produce a negative outcome.
そして、2つの企業が実質的にスポットライトを浴び、最高の企業であり、もちろん投資家にリターンを提供するために戦っているとき、否定的な結果を生む可能性があります。
And this is something that we talked about with Moloch, which is essentially where it's an unattended consequence of your competition doing something that you wouldn't usually do.
これは、Molochと話したことであり、競争相手が通常しないことをすることの予期せぬ結果であると言えます。
But if they don't do it, you lose the business.
しかし、もしそれをしないと、ビジネスを失います。
And so you have to do it.
だから、それをしなければなりません。
And then everything just gets worse.
そして、すべてが悪化していくのです。
OK, so essentially, it's going to be pretty crazy because if you don't know what Q-Star was, Q-Star was a real breakthrough that shook OpenAI to the point where I think even Sam Altman was fired.
実際には、かなり狂った状況になるでしょう。Q-Starが何だったかわからない場合、Q-StarはOpenAIを揺るがす本当のブレークスルーで、サム・アルトマンさえ解雇されたと思います。
Ilya tried to get him removed from the board.
イリヤは彼を取締役会から外そうとしました。
There was this whole, whole, whole host of things.
これは本当に、本当に、本当にたくさんのことがあった。
So this article is really, really important because these guys not only said that they made some kind of breakthrough with which could enable active reasoning capabilities and pretty much like an unlimited context window, which allows it to bring it closer to the way humans process information.
この記事は本当に重要です。なぜなら、これらの人たちは、能動的な推論能力を可能にする何かの突破口を作ったと言っただけでなく、ほぼ無制限のコンテキストウィンドウを持つことができると言ったからです。これにより、情報処理の方法に人間に近づけることができます。
This is going to be crazy because if these guys bring this out, like I said before, that could mean they they force OpenAI to essentially reveal what they've been working on.
これは狂ったことになるでしょう。なぜなら、もしこれらの人たちがこれを発表したら、前にも言ったように、それはOpenAIに彼らがこれまで取り組んできたことを実質的に明らかにするよう迫るかもしれないからです。
Because if it's better than anything they've ever seen, which is what these guys who are investing said, that means OpenAI are going to be like, OK, you guys think you've got something? OK, we've got this, yada, yada, yada.
投資している人たちが言うには、これまでに見たどんなものよりも優れているということですから、OpenAIは「おっ、何かいいものを持っていると思っているのか？よし、じゃあ我々にはこれがある」という感じで応じるでしょう。
And then, of course, the races continue. So I think this will be one of the biggest things I do look forward to, because with the whole Q-Star stuff, I really just want to see what they were working on.
そして、もちろん、競争は続きます。だから、私はこれが今後最も楽しみなことの1つになると思います。Q-Starの全体的なことで、彼らが何に取り組んでいたのかを本当に見たいです。
And of course, we have Demis Hassabis giving a really exclusive interview in which he talks about how the biggest breakthroughs in AI are yet to come and it will take more than just chips.
そしてもちろん、デミス・ハサビスが非常に独占的なインタビューを行い、AIの最大の突破口はまだ来ておらず、単なるチップだけでは足りないと語っています。
Now, I'm guessing that this was started because, of course, Sam Altman requesting seven trillion dollars.
今、私はサム・アルトマンが7兆ドルを要求したために、これが始まったと推測しています。
Many people, including myself, were speculating that they'd made a breakthrough, which, of course, they had.
私を含め多くの人々が、彼らが画期的な進歩を遂げたと推測していました。もちろん、実際にそうでした。
It was reported that late last year that they made some insane kind of breakthrough and that apparently all they need now is just scale.
昨年末に報告されたところによると、彼らは狂気じみた種類の画期的な進歩を遂げ、今必要なのはスケールだけだと言われています。
So essentially, it says that Google's DeepMind CEO Demis Hassabis has recently at least given Sam Altman some healthy competition, leading to the development and deployment of an AI model that appears both as capable and innovative as the one that powers OpenAI's ChatGPT-4.
要するに、GoogleのDeepMindのCEOであるデミス・ハサビスは、最近少なくともサム・アルトマンに健全な競争を提供し、OpenAIのChatGPT-4を動かすものと同じくらい能力があり革新的なAIモデルの開発と展開につながっていると言っています。
So essentially, he gave a really nice interview.
要するに、彼はとても素敵なインタビューを受けました。
And I just want to show you guys some of the things that he said.
そして、彼が言ったことの一部を皆さんに見せたいと思います。
He said that Gemini 1.5 Pro can take vastly more data as an input than its predecessor.
彼は、Gemini 1.5 Proが前任者よりもはるかに多くのデータを入力できると述べました。
It's also more powerful in its size thanks to an architecture called mixture of experts.
それは、専門家の混合と呼ばれるアーキテクチャのおかげで、サイズに対してより強力です。
Why did these things matter?
これらのことがなぜ重要なのか？
Demis Asabis says that you can now ingest a reasonable sized short film.
デミス・アサビスは、今や合理的なサイズの短編映画を取り込むことができると述べています。
I can imagine it being super useful if there's a topic you're learning about and there's a one hour lecture and you want to find a particular fact or when they did something.
それが役立つことを想像できます。学習しているトピックがあり、1時間の講義があって、特定の事実や何かをした時に見つけたい場合に。
I think that there's going to be a really, really lot of use case, cool use cases for that.
そのために、本当にたくさんの使い道、クールな使い道があると思います。
And, of course, we invented the mixture of experts and we developed a new version and this new pro version of Gemini.
そして、もちろん、専門家の混合物を発明し、新しいバージョンを開発し、この新しいプロ版のGeminiを作りました。
It's not been tested extensively, but it has roughly the same performance as the largest previous generation of architecture.
これは十分にテストされていませんが、以前の最大世代のアーキテクチャとほぼ同じ性能を持っています。
And there's nothing limiting us creating an ultra sized model with these innovations.
これらの革新を用いて超大型モデルを作成することに制限はありません。
And that's obviously something we're working on.
そして、それは明らかに私たちが取り組んでいることです。
So the pro, I mean, the ultra version is going to be pretty insane because pro is like not a nerfed version, but it's not as crazy as ultra.
Pro、つまり、Ultra版はかなり狂ったものになるでしょう。プロは弱体化されたバージョンではないが、Ultraほど狂ったものではない。
So if they make ultra as good as pro in terms of contents length, that is going to be crazy.
もしUltraがコンテンツの長さの点でプロと同じくらい良くなるなら、それは狂ったことになるでしょう。
So here's where he actually talks about Sam Altman 7 trillion.
ここで彼が実際にサム・アルトマンの7兆について話している場面です。
And he essentially says, was that a misquote?
彼は実質的に、それは誤引用だったのかと言っていますか？
I heard someone say that maybe it was yen or something.
おそらく円か何かだったと誰かが言っていたと聞きました。
So, of course, you can see in the last few years, increase the amount of computer power and data used in training an AI model is the thing that has driven amazing advances.
もちろん、過去数年間で、AIモデルのトレーニングに使用されるコンピュータのパワーとデータ量が増加してきたことが驚異的な進歩をもたらしています。
Sam Altman is said to be looking to raise 7 trillion for more AI chips is vastly more computer power.
サム・アルトマンは、より多くのAIチップのために7兆を調達しようとしていると言われており、これは大幅に多くのコンピュータパワーを意味します。
The thing that will unlock AGI.
AGIを解き放つであろうものです。
And he says, was that a misquote?
そして彼は言っていました、それは誤引用だったのかと。
I heard someone say and just for reference, I know I didn't add this, but of course, if you aren't wondering who He's the CEO of DeepMind, the company that is producing Gemini, which is the rival to GPT-4.
誰かが言っていたと聞きましたが、参考のために、これは追加していませんが、もちろん、彼がDeepMindのCEOであることを知っています。DeepMindはGPT-4のライバルであるGeminiを生産している会社です。
I just I just thought I'd add that because I always do set the context for this interview.
このインタビューの文脈を常に設定するようにしているので、それを追加しただけです。
You might be thinking it was someone random because I know some people are just general and they just watch the content every now and again.
誰かランダムな人だと思っているかもしれませんが、私はいつもこのインタビューの文脈を設定しています。
But anyways, he was basically stating that well, of course, you do need scale.
とにかく、彼は基本的に、もちろん、スケールが必要だと述べていました。
And that's why Invilia stock is just going insane.
そしてそれがInvilia株が狂ったように上昇している理由です。
And he said, that's why Sam Altman is trying to raise whatever the real number is, because 7 trillion is just like it's insane.
それが本当の数字であるかどうかを調べようとしているのは、サム・アルトマンが7兆ドルを調達しようとしているからです。なぜなら、7兆は狂気じみています。
But I think we're a little bit different to a lot of these other organizations and that we've always been fundamental research first.
しかし、私たちは他の多くの組織とは少し違うと思います。なぜなら、私たちは常に基礎研究を最優先にしてきたからです。
And at Google Research and Brain and DeepMind, we've invented the majority of machine telling techniques that we're all using today.
そして、Google ResearchやBrain、DeepMindでは、今日私たちが皆使っている機械学習技術の大部分を発明してきました。
And over the last 10 years of pioneering work, that's always been in our DEA.
そして、過去10年間の先駆的な研究の成果は、常に私たちのDEAにありました。
And of course, they have a lot of senior research scientists that maybe other organizations don't have.
そしてもちろん、彼らには他の組織にはないような多くのシニア研究科学者がいます。
And these other startups and even big companies have a high proportion of engineering to research science.
そして、これらの他のスタートアップや大手企業は、研究科学に対するエンジニアリングの割合が高いです。
And essentially, he's stating here that my belief is to get to AGI, you're going to need probably several more innovations, as well as the maximum scale.
基本的に、ここで彼は述べているのは、AGIに到達するためには、おそらくさらにいくつかの革新が必要であり、最大規模も必要だということです。
And of course, right now, we're not even at the maximum level of scale.
そしてもちろん、現時点では、最大規模に達していない状況です。
There was also another breakthrough that I will talk about in a video coming around eight hours is pretty insane.
また、約8時間後に公開されるビデオで話す別の画期的な進展があります。それはかなり狂気じみています。
Going to change everything.
すべてを変える予定です。
Most people haven't even realized why this is game changing.
ほとんどの人々はなぜこれがゲームチェンジングなのかさえ気づいていません。
But I'm going to show you guys in a video.
しかし、私はビデオで皆さんにお見せします。
And it says there's no let up in scaling.
そして、スケーリングでの緩和はないと言っています。
We're not seeing any asymptote or anything.
私たちは漸近線も何も見ていません。
There's still gains to be made.
まだ得るべき利益があります。
There are still a lot of gains to be made across the board.
全体的にまだ多くの利益が得られる余地があります。
Like a lot of people are saying that the LLMs hallucinate, they're this, they're that, like they are as bad as they're going to be.
多くの人々が大規模言語モデルが幻覚を見る、彼らはこれだ、あれだと言っています、彼らはこれ以上悪くなることはありません。
So that is something you have to remember.
だから、それは覚えておかなければならないことです。
And he says, so my view is you've got to push the existing techniques to see how far they go.
そして彼は言います、だから私の見解は、既存の技術をどこまで進化させるかを見極める必要があるということです。
But you're not going to get new capabilities like planning or tool use or Asian like behavior just by scaling existing techniques.
しかし、既存の技術をスケーリングするだけでは、計画やツールの使用、アジアのような行動などの新しい能力は得られません。
It's not going to actually happen.
実際には起こらないだろう。
I do kind of believe that it's not just going to like, of course, there are emerging capabilities like the abilities to do certain things.
ちょっと信じているけど、もちろん、特定のことをする能力のような新しい能力が出てくる可能性はあると思う。
But planning and Asian like behavior, I do think those are fundamentally a little bit different paradigms from just interacting with an LLM.
しかし、計画やアジアのような行動は、大規模言語モデルとの単なるやり取りとは根本的に少し異なるパラダイムだと思います。
So we probably will need a kind of different architecture.
だから、おそらく異なるアーキテクチャが必要になるでしょう。
But I wouldn't be surprised if it comes out probably tomorrow.
しかし、明日にはおそらく出てきても驚かないだろう。
The rate of progress, I mean, of course, has to build sarcasm.
進捗の速度は、もちろん、皮肉を言わなければならない。
But like maybe in six months we get a new architecture.
しかし、おそらく6ヶ月後には新しいアーキテクチャが手に入るかもしれない。
And then it accelerates even further.
そして、さらに加速するだろう。
So he says, the other thing you need to explore is compute itself.
彼は言う、探求する必要があるもう一つのことは、計算そのものだ。
Ideally, you'd love to experiment on toy problems that take you a few days to train.
理想的には、数日かかるおもちゃの問題で実験をしたいと思う。
But often you'll find that things that work at toy scale don't hold at the mega scale.
おもちゃのスケールでうまくいくことが、メガスケールではうまくいかないことがよくあります。
So there's some sort of sweet spot where you can maybe extrapolate 10 times in size.
だから、おそらく10倍のサイズに拡大できる甘いスポットがあるんです。
Essentially, what he's saying here is that some things that you try at the small style of scale, they don't always scale up with compute.
基本的に、彼がここで言っているのは、小規模なスケールで試してみるいくつかのことは、計算と一緒に拡大されないことがあるということです。
So there's kind of an issue for that.
だから、その点には問題があるんです。
But there's kind of conflicting research because we found that OpenAI basically said that with their recent Sora technology, it was good at four times compute.
しかし、OpenAIは最近のSora技術について、計算能力が4倍になると言っていたので、矛盾する研究があるということです。
And then they increased the compute and it just worked.
そして、計算を増やしたらうまくいったんです。
So I guess sometimes it does, sometimes it doesn't.
だから、時々うまくいくこともあれば、そうでないこともあります。
But, of course, like we stated before, of course, it won't just be LLMs that get us to AGI.
しかし、もちろん、前に述べたように、AGIにたどり着くのは大規模言語モデルだけではないでしょう。
It will be the entire multimodal approach and probably some kind of, I guess you could say, active reasoning where they can store, adapt and dynamically update themselves, which is kind of what that magic breakthrough was in the previous article.
それは完全なマルチモーダルアプローチであり、おそらく、何らかの、たぶん、能動的な推論が含まれるでしょう。それらは自分自身を保存し、適応させ、動的に更新できるようにすることができる、前の記事でのその魔法の突破口が何だったかということです。
So he essentially said he said, that's our bread and butter really agents reinforcement learning and planning since the AlphaGo days.
彼は本質的に、私たちの主力は本当にエージェントの強化学習と計画であり、AlphaGoの日々からです。
Of course, they developed AlphaGo, which was pretty incredible.
もちろん、彼らはかなり信じられないほどのAlphaGoを開発しました。
And we're dusting off a lot of ideas, thinking some kind of combination of AlphaGo capabilities built on top of these Large Language Models.
そして、私たちは多くのアイデアを取り出し、これらの大規模言語モデルの上に構築されたAlphaGoの能力の組み合わせを考えています。
Introspection and planning capabilities will help with things like hallucination.
内省と計画能力は幻覚などの問題に役立ちます。
And it's sort of funny if you say take more care or line out your reasoning, sometimes the models do better.
そして、もっと注意を払ったり、推論を整理したりすると、モデルがより良い結果を出すことがあります。
And what's going on there is you are priming it to be solved a little bit more logical about its steps.
そして、そこで起こっていることは、ステップについて少し論理的に解決するようにプライミングしているということです。
And it says that's definitely a huge area.
そして、それは間違いなく巨大な分野だと言っています。
We're investing a lot of time and energy into the area.
私たちはその分野に多くの時間とエネルギーを投資しています。
And we think it will be a step changing capabilities of these type of systems when they start becoming more agent like we're investing heavily in that direction.
そして、それがよりエージェントらしくなるとき、これらのタイプのシステムの能力が変わる一歩になると考えています。私たちはその方向に大きく投資しています。
And I imagine others are as well.
そして、他の人たちも同じように考えていると想像しています。
So, of course, something that I do want to talk about as well is that this is just the last part of the article is I says, won't this also make AI models more problematic or potentially dangerous?
もちろん、話したいことの1つは、この記事の最後の部分だけですが、これはAIモデルをより問題のあるものや潜在的に危険なものにする可能性があると言っています。
And that is true, because, of course, the problem is, is that most people look at GPT-4 and they're like, oh, yeah, this can't do anything.
それは本当ですね、なぜなら、もちろん、問題は、ほとんどの人がGPT-4を見て、「ああ、これは何もできない」と思っていることです。
Of course, it can't it's just literally a chat.
もちろん、できません。それは文字通りチャットだけです。
But you talk to it, it says something back.
しかし、それと話すと、何か返事をします。
That's the end of the conversation.
それが会話の終わりです。
But what happens when you have an agent that can actively autonomously think, plan, execute and do things on its own accord?
しかし、自律的に考え、計画し、実行し、自分の意志で何かをするエージェントがいるとどうなるでしょうか？
And that is where the danger lies.
それが危険があるところです。
And that's why I said that right now, yes, we've got generative AI tools, but agents are going to be real, real entities that are going to be going around the Internet doing whatever it is that they've been programmed to do.
そして、それが私が言った理由です。今は、生成AIツールはあるけれども、エージェントは本物の存在になり、プログラムされたことを行うためにインターネットを巡回する存在になるでしょう。
And that's, of course, where we have the problem for, I guess you could say danger.
そして、もちろん、そこが私たちが問題を抱えている場所であり、危険と言えるかもしれません。
And essentially, he says, I've always advocated for hardened simulation sandboxes to test agents in before we put them out on the Web.
そして基本的に、彼は言います、「私は常に、Webに出す前にエージェントをテストするための強化されたシミュレーションサンドボックスを提唱してきました」。
And there are many other proposals, but I think the industry should really start thinking about the advent of the systems.
他にも多くの提案がありますが、私は業界が本当にシステムの到来について考え始めるべきだと思います。
Maybe it's going to be a couple of years, maybe sooner, but it's a different cloud.
おそらく数年後になるかもしれませんし、それよりも早くなるかもしれませんが、異なるクラウドになるでしょう。
And, of course, what he says as well here is that once we get agent like systems working, AI will feel very different to current systems, which are basically passive Q&A systems, because they'll suddenly become active learners.
そして、もちろん、彼がここでも言っているように、エージェントのようなシステムが動作し始めると、AIは現在の基本的に受動的なQ&Aシステムとは非常に異なるものになるでしょう、なぜなら、突然能動的な学習者になるからです。
And, of course, they'll be more useful as well, because they're able to be do tasks for you as you accomplish them, but we'll have to be a lot more careful.
そしてもちろん、彼らはより役立つようになるでしょう、なぜなら、あなたがそれらを達成する際にタスクを行うことができるからですが、私たちはもっと注意深くならなければなりません。
OK, and that is very true, because if you aren't things could go wrong.
OK。それは非常に真実です、なぜなら、もしあなたがそうでなければ、事態が悪化する可能性があります。
So it's clear that Google their main focus is going to be these agent like systems.
Googleの主な焦点がこれらのエージェントのようなシステムになることは明らかです。
And I really can't wait to see what Google does, because something that you need to know about Google is that they've actually pioneered the research that many of these companies do use.
そして、私は本当にGoogleが何をするかを見るのが待ちきれません、なぜなら、Googleについて知っておくべきことは、実際には多くの企業が利用している研究を先駆しているということです。
You know, so I won't be surprised if Google manages to take back the lead from OpenAI in the future, as long as they keep their eye on the ball.
ご存知の通り、私はGoogleが将来OpenAIからリードを奪い返すことができると驚かないでしょう、彼らがボールを見失わない限り。
However, another thing about Google is that they've kind of faced some controversy because of the guardrails they set.
ただし、Googleについてもう一つのことは、彼らが設定したガードレールのためにいくつかの論争に直面しているということです。
So I did see that there was a lot of flak getting Google, because essentially recently they made a giant error with their new Gemini.
私はGoogleに対してかなりの批判があるのを見ました、なぜなら、最近、彼らが新しいGeminiで大きな誤りを犯したからです。
So essentially it says here Google pauses AI made images of people after race inaccuracies.
ここにはGoogleが人々の画像を作成したAIを一時停止したとありますが、人種の不正確さが原因です。
So I want to show you exactly what they're talking about.
彼らが話していることを正確にお見せしたいと思っています。
And essentially here you can see someone says sometimes you just need to point out to the AI that they should check themselves.
基本的にここでは、時々、AIに自分たちをチェックするように指摘する必要があると言っている人がいます。
So someone's asked for draw an affluent couple in Germany from 1820, essentially just means draw a rich couple from Germany in 1820.
1820年のドイツの裕福なカップルを描いてほしいと誰かが頼んだことは、基本的には1820年のドイツの裕福なカップルを描くということです。
And of course, you can see that it's drawn and drawn a couple that clearly doesn't look like a couple from Germany in the 1820.
そしてもちろん、描かれているのは明らかに1820年のドイツのカップルとは見えないカップルです。
So these historical references are essentially quite inaccurate.
これらの歴史的な参照は基本的にかなり不正確です。
And that was something that is inaccurate.
それは正確ではないということでした。
And of course, essentially, the problem here is that in order to be historically accurate, it can't be diverse.
そしてもちろん、基本的に、ここでの問題は、歴史的に正確であるためには多様性がないといけないということです。
And I guess that's sort of conflicting with its internal algorithm.
そして、おそらくそれは内部のアルゴリズムと衝突しているのでしょう。
My guess is, and there was some kind of proof on Twitter yesterday, but I didn't get to see it because when you're on Twitter and you're browsing, sometimes tweets literally just disappear.
私の推測では、昨日Twitterで何かの証拠があったのですが、Twitterを見ているときは、時々ツイートが文字通り消えてしまうので、見ることができませんでした。
But someone kind of got Google to they basically jail broke Gemini to see what its internal things were.
しかし、誰かがGoogleにGeminiを基本的にジェイルブレイクして、内部の情報を見ることができたようです。
And of course as new AI systems are, they're set by default with the reinforcement learning and the training to be essentially more diverse, essentially to be more representative.
もちろん、新しいAIシステムは、デフォルトで強化学習とトレーニングが設定されており、本質的にはより多様で、より代表的であるようになっています。
But that conflicts with historical accuracies because essentially it doesn't represent what's actually true.
しかし、これは歴史的な正確さと衝突しています。基本的に、実際の真実を表していません。
So, of course rightly so, they're getting a lot of flak for this, because essentially it doesn't really make sense.
そのため、当然のことながら、これに対して多くの批判を受けています。基本的に、それはあまり意味をなさないからです。
Of course, essentially what we can see here is that it says, I apologize, but the previous images contain inaccuracies that did not reflect the historical context of 1820s Germany.
もちろん、基本的にここで見ることができるのは、前の画像には1820年代のドイツの歴史的文脈を反映していない不正確さが含まれていたと謝罪しています。
It's highly unlikely that an affluent couple in Germany during that period would have been of Asian or African descent.
その時期のドイツの裕福なカップルがアジア人やアフリカ系の出自であった可能性は非常に低いです。
To provide a more accurate representation, I've generated new images.
より正確な表現を提供するために、新しい画像を生成しました。
And of course, it kind of makes sense.
そしてもちろん、それはある程度理にかなっています。
And this is why Elon Musk is, of course, talking about this is why XAI's Grok is so important.
これが、イーロン・マスクがXAIのGrokの重要性について語っている理由です。
It's far from perfect now, but it will improve rapidly.
現時点では完璧とは程遠いですが、急速に改善されるでしょう。
Version 1.5 releases in two weeks and rigorous pursuit of the truth without regard to criticism has never been more essential.
バージョン1.5は2週間後にリリースされ、批判を顧みず真実を徹底的に追求することがこれまで以上に重要であることはありません。
So, of course, as you know, Elon Musk has his own chatbot company, his Grok one.
ご存知の通り、イーロン・マスクは自身のチャットボット会社、Grokを持っています。
You know, I don't even have access yet.
まだアクセス権がありませんね。
I don't know why they just don't roll it out.
なぜただリリースしないのかわかりません。
Maybe it's due to a compute thing where he only wants people that are paying for it to access it.
おそらく、彼はそれを利用するために支払いをしている人だけにアクセスさせたいという計算上の理由かもしれません。
I mean, I do have Twitter premium, but I just don't have access to Grok yet.
確かに、Twitterプレミアムは持っていますが、まだGrokにアクセスできません。
So I wish he would roll it out more so that more people could use it.
もっとリリースしてほしいと思います。そうすれば、もっと多くの人が利用できるでしょう。
But the point is, is that he's basically saying that in order to essentially have a chatbot that is actually useful, you need to have one that just focuses on the truth and doesn't have any bias to either the left side or the right side, no matter where it stands.
しかし、要点は、実際に役立つチャットボットを持つためには、真実にのみ焦点を当て、左側でも右側でも偏りがないものが必要であると彼が基本的に言っていることです。それがどの立場であれ、偏りがあってはならないのです。
It just has truth.
それは単に真実を持っています。
And its main focus is just on the data.
そして、その主な焦点はデータにあります。
Now, of course, data, there's a lot of politics and data.
もちろん、データには多くの政治が絡んでいます。
I'm not going to get into all of that stuff, but I do find it quite interesting to see how the evolution of the space is increasing because certain problems are coming up.
そのようなことには触れませんが、宇宙の進化が進む様子を見るのは興味深いと思います。特定の問題が発生しているため、その空白を埋めようとする他の企業もあります。
And then, other companies are rushing to fill that gap and that need.
そして、他の企業がその空白やニーズを埋めようと急いでいます。
So, Elon Musk's Grok, I can only say that I'm kind of excited for it, but I just want to be able to access this.
だから、イーロン・マスクのGrokについては、少し興奮しているとしか言えませんが、これにアクセスできるようになりたいと思っています。
I don't want it to be like in a web browser.
それがウェブブラウザのようなものになってほしくないです。
I don't want it to be tied to x.com because a lot of people just don't use Twitter.
x.comに縛られたくないです。たくさんの人がTwitterを使っていないからです。
As funny enough as many people do, there are some people that just don't.
多くの人が使っているように面白いことに、使わない人もいます。
So, it would be nice to kind of get this and kind of use it and kind of test it and kind of see how good it is.
これを手に入れて使ってみたり、テストしたり、どれくらい良いかを見たりしたいと思います。
But it will be interesting as well.
それも興味深いでしょう。
But they needed to update this anyways because Gemini's image generation feature was kind of weird.
それに、とにかく更新する必要がありました。Geminiの画像生成機能はなんだか変だったからです。
I mean, it was kind of good, but sometimes it was just really weird.
いい面もありましたが、時々本当に変なことがありました。
So, I'm glad they're going to be updating this anyways.
そこで、彼らがとにかくこれを更新することになっていて嬉しいです。
So, that was something down.
それは何かが下がったものでした。
And then, of course, Google actually did release some open models.
そして、もちろん、Googleは実際にいくつかのオープンモデルをリリースしました。
So essentially, if you didn't know, you know how Mistral has Mistral 7B, Mistral, mixture of experts and then, of course, Mistral Next, which is really cool, they have the Gemma open model.
実際、もし知らなかったら、MistralにはMistral 7B、Mistral、エキスパートの混合物、そしてもちろん、Mistral Nextがありますが、本当にクールなことに、彼らはGemmaオープンモデルを持っています。
So, it's a family of lightweight, state-of-the-art open models built from the same research and technology used to create Gemini models.
これは、Geminiモデルを作成するために使用された同じ研究と技術から構築された軽量で最新のオープンモデルのファミリーです。
Now, this is good because, of course, Google is getting back to open source.
これは良いことです、もちろん、Googleがオープンソースに戻っているということです。
And I do like the fact that they're doing that because it is a really, really good thing for the, I guess you could say, ecosystem and for the space.
そして、それをやっていることが好きです、なぜなら、それは、エコシステムやこの分野にとって本当に良いことだからです。
And you can see that Gemma does actually outperform Mistral LLaMA 2 on several benchmarks.
そして、Gemmaが実際にいくつかのベンチマークでMistral LLaMA 2を上回っていることがわかります。
But some initial reports said it wasn't that good, I mean, I guess it's kind of weird.
しかし、一部の初期報告ではそれがあまり良くないと言われていました、まあ、ちょっと変わっていると思います。
But the point is, is that right now we do have a really good AI system that's better than these ones in terms of the benchmarks.
しかし、ポイントは、今、私たちにはベンチマークの観点でこれらのものよりも優れた本当に良いAIシステムがあるということです。
And I think it's good that Google is here because a lot of these open-source systems, I think we do need a kind of responsible approach to making these open-source systems.
Googleがここにいるのは良いと思います。なぜなら、これらのオープンソースシステムには、責任あるアプローチが必要だと思います。
And it's not that Mistral and LLaMA are irresponsible.
MistralとLLaMAが無責任だというわけではありません。
It's just that when a big company like Google gets involved, it can definitely help the space in terms of not only the benchmarks, not only the technology, these guys have got the research.
ただし、Googleのような大企業が関与すると、ベンチマークだけでなく、技術だけでなく、これらの研究を持っていることで、この分野を確実に支援できます。
So, I think it's just going to push the space even forward and it's just going to definitely democratize the overall AI ecosystem.
だから、この分野をさらに前進させるだけでなく、全体的なAIエコシステムを確実に民主化するでしょう。
So, I really like the fact that Google's in here.
だから、私はGoogleがここにいることが本当に好きです。
And it's kind of funny how, like, OpenAI was supposed to be the one that's doing, like, open source, open models and stuff.
そして、OpenAIがオープンソースやオープンモデルなどを行う予定だったのが、なんだか面白いですね。
And now they're just completely closed off.
そして今、彼らは完全に閉鎖されています。
But of course, that is how the evolution of things goes.
しかしもちろん、それが事物の進化の進み方です。
Of course, you can kind of access it right now.
もちろん、今すぐにそれにアクセスすることができます。
And they talk about responsible development, yada, yada, yada, all that stuff.
そして、責任ある開発について話しています、などなど、そのようなことを話しています。
And of course, you guys can go try it out yourself.
お二人でぜひ実際に試してみてください。
In addition, we did actually have Stable Diffusion 3.
さらに、実際にStable Diffusion 3を持っていました。
So, Stable Diffusion 3 seems to be a lot better than Stable Diffusion 2.
Stable Diffusion 3はStable Diffusion 2よりもはるかに優れているようです。
And it says announcing Stable Diffusion 3 in early preview, our most capable text-to-image model with greatly improved performance in multi-subject prompts, image quality, and spelling abilities.
そして、Stable Diffusion 3を初期プレビューで発表し、最も能力の高いテキストから画像へのモデルで、マルチサブジェクトのプロンプト、画質、スペル能力が大幅に向上しています。
And the two limitations that all of these AI systems suffer from is, of course, multi-subject prompts.
そして、これらのすべてのAIシステムが苦しんでいる2つの制限は、もちろんマルチサブジェクトのプロンプトです。
That essentially means, like, if you're saying I want to see someone running through a tunnel, wearing a hat, carrying a baseball next to a woman, doing this and that, it just kind of breaks.
それは基本的に、たとえば、誰かが帽子をかぶり、野球を持ち、女性の隣を走っているのを見たいと言っている場合、システムはうまく機能しなくなります。
Like, the system just kind of breaks down.
つまり、システムは壊れてしまいます。
It can get like one or two things well.
1つか2つのことをうまくできることがあります。
But multi-subject prompts don't work well.
しかし、マルチサブジェクトのプロンプトはうまく機能しません。
And in addition, spelling abilities don't always work well.
さらに、スペル能力も常にうまく機能しないことがあります。
If you've seen the spelling in DALL·E 3 and these other systems, it just doesn't work well.
DALL·E 3や他のシステムでのスペルを見たことがあれば、それはうまく機能しないと思います。
So, I'm guessing that with the text that these guys have here, this is going to be a lot better than what we've seen before.
ここにあるこれらのテキストで、これまで見てきたものよりもずっと良くなると推測しています。
And they state that while the model is not yet broadly available today, we're opening a waitlist for early preview.
お知らせしますが、このモデルは現在広く利用可能ではありませんが、早期プレビューのための待機リストを開設しています。
So, the preview phases with the previous models is crucial for gathering insights to improve performance and safety, yada, yada, yada.
以前のモデルとのプレビューフェーズは、パフォーマンスと安全性を向上させるための洞察を集めるために重要です。
It's basically saying, look, we need to make sure that if these people try and jailbreak it, like, we pass these jailbreaks before we let it out.
基本的には、もしこれらの人々がジェイルブレイクしようとした場合、ジェイルブレイクを通過させる前に確認する必要があると言っています。
And if there's any issues with data contamination, we can figure it out before there's some kind of public scandal for our company.
もしデータの汚染に問題があれば、それを解決できるように、公にスキャンダルになる前に対処できます。
So, if you want to sign up to the waitlist, I'll leave a link in the description.
待機リストにサインアップしたい場合は、説明欄にリンクを残しておきます。
You can just click there.
そこをクリックするだけです。
And of course, you can see that so far it looks really good.
そしてもちろん、これまでのところ、非常に良いように見えます。
And I really do want an AI system that's actually able to get the text right because it's still an issue to use something because a lot of the times when you put the text in, the spelling just isn't correct.
そして実際には、テキストを正確に取得できるAIシステムが欲しいです。テキストを使用する問題は、テキストを入力するときに、スペルが正しくないことが多いためです。
And I'm pretty sure, of course, like in a year or two, it's going to be completely fixed.
もちろん、1年か2年後には完全に修正されると確信しています。
But I'm guessing that this is Stable Diffusion thing.
しかし、これはStable Diffusionのことだと思います。
And I'm guessing that, of course, this is AI generated.
そして、もちろん、これはAIが生成したものだと思います。
And you guys will really understand how crazy this is once you guys get to use something that is completely working in terms of text.
そして、テキストの面で完全に機能するものを使うと、本当にこれがどれほどすごいか理解していただけるでしょう。
And as someone that's previously done Photoshop before, I can't tell you how tedious it is to like try and get the text to all kind of go into it.
以前にPhotoshopをやったことがある人として、テキストをすべて入れようとするのがどれほど退屈かお伝えできません。
It's just it's just really, really tedious.
それはただただ本当に退屈です。
So this will be something that is really good for graphic designers.
これはグラフィックデザイナーにとって本当に良いものになるでしょう。
Then we had a research panel that was discussing AI frontiers.
その後、AIの最先端を議論していた研究パネルがありました。
And essentially, one of the clips that I wanted to see, and I was meant to put this in the previous video, but there were so many news that I literally just missed it.
前のビデオに入れるつもりだったクリップの1つを見たかったのですが、実際にはニュースが多すぎて見逃してしまいました。
But they talked about how in the future there's going to be dynamic models and they're going to be, I guess you could say, I wouldn't say active reasoning capabilities like what we saw in the first article, but they're going to be more, I guess you could say, dynamic in the sense that they can update themselves.
しかし、将来的にはダイナミックモデルが登場し、それらが、私たちが最初の記事で見たようなアクティブな推論能力とまでは言いませんが、よりダイナミックになるという話がありました。つまり、自己更新ができるという意味で、よりダイナミックになるということです。
And this was from some of the authors of Phi-2, if I'm correct.
これは、Phi-2の著者の一部からの情報だったと思います。
And I'm going to show you guys that right now because I just thought that that was really fascinating from this roundtable talk.
これはラウンドテーブルでの話からで、本当に興味深いと思いましたので、今すぐお見せします。
So we'll take a look at this real world as Ahmed was suggesting.
アフマドが提案していたように、実際の世界を見てみましょう。
Then we were doing the Sparks of AGI work.
その後、AGIのスパークの作業を行っていました。
There is actually something we say in the introduction when we are talking about intelligence, the core of intelligence.
実際、知能について話すときに、導入で何かを言っています。知能の核心です。
Any intelligence system needs to be learning, needs to be learning from their environment, needs to be learning from the interactions they are having.
どんな知能システムも学習する必要があります。環境から学び、相互作用から学ぶ必要があります。
And this is not something we currently have even in the best models or even in the best AI systems we have in the world.
そして、これは現在の最高のモデルや最高のAIシステムにさえ持っていないものです。
They are static.
それらは静的です。
They may be interacting with millions of people every day and getting feedback from them or seeing how people respond to it.
おそらく彼らは毎日何百万人もの人々とやり取りしてフィードバックを得たり、人々がそれにどのように反応しているかを見ているかもしれません。
But it does not make any of those systems better or more intelligent or understand their users any better.
しかし、それらのシステムのどれもがより良くなったり、より賢くなったり、ユーザーをよりよく理解することはありません。
So, I feel like this is one of the areas that we have to push forward very strongly.
私はこれが非常に強く前進しなければならない分野の1つだと感じています。
How do we incorporate a learning feedback loop into this intelligent pyramid, every layer of it, in a transparent, understandable, and reliable way so that the systems we are building are not only getting better because experts like Sebastian and Ahmed are putting a lot of time in data collection.
このインテリジェントピラミッドに学習フィードバックループをどのように取り入れるか、その各層において、透明で理解しやすく信頼性のある方法で、私たちが構築しているシステムが、セバスチャンやアフマドのような専門家が多くの時間をデータ収集に費やしているからだけでなく、より良くなっていることを確認するために。
And of course, that work needs to happen as well.
そしてもちろん、その作業も行われる必要があります。
And coming up with new ideas to make the models better.
そして、モデルをより良くするための新しいアイデアを考え出すこと。
But we are actually creating this virtuous loop for our systems, for them to get better in time.
しかし、実際には、私たちはシステムが時間とともにより良くなるために、この善循環を作り出しています。
Yeah, I thought this was a really, of course, fascinating point to make because it's true.
そうですね、これは本当に、もちろん、興味深いポイントだと思いました。
You know, if there is someone who's intelligent, they are constantly learning.
知っての通り、知的な人がいる場合、彼らは常に学習しています。
They're constantly changing, adapting, updating their worldview.
彼らは絶えず変化し、適応し、世界観を更新しています。
They're consuming books, they're reading that they're doing a lot of stuff.
彼らは本を消化し、読書をし、たくさんのことをしています。
OK, and the problem is, is that as people have even said, is that AI systems are essentially snapshots of reality.
OK。問題は、人々が言っているように、AIシステムは実質的に現実のスナップショットであるということです。
They're a snapshot of a moment in time.
それらは時間の一瞬のスナップショットです。
And once the model is done and once it's trained, it can't access new information.
そして、モデルが完成し、トレーニングが終わると、新しい情報にアクセスできなくなります。
Of course, it can go to the web and then reference that and then do that.
もちろん、それはウェブにアクセスし、参照して、その後に行動を起こすことができます。
But it doesn't update the model across the board.
しかし、全体的にモデルを更新しません。
Each time it has to go ahead, query the web, it's not able to update dynamically.
ウェブに問い合わせるたびに、動的に更新することができません。
So it will be interesting to see if we move towards a stage where we can actually get that.
実際にそれを実現できる段階に向かうかどうかは興味深いでしょう。
And maybe that's what Q-Star was.
そして、おそらくそれがQ-Starだったのかもしれません。
Maybe that's what Q-Star was.
おそらくそれがQ-Starだったのかもしれません。
Maybe that's what GPT-5 is going to be.
おそらくそれがGPT-5になるものですね。
I have no idea.
私には全くわかりません。
They talked about it first of all, first of all, in Magic.
まずまず、まずまず、Magicでそれについて話しました。
That's what they talked about.
それが彼らが話した内容です。
So we'll be interesting to see how that development cycle continues.
その開発サイクルがどのように続くか興味深いですね。
And of course, if we're moving towards, I guess you could say, some kind of updated system.
そしてもちろん、もし私たちが、ある種の更新されたシステムに向かっているのであれば、と言えるかもしれません。
But that will require some kind of new architecture, I'm guessing, some kind of new strategy to put in place to make that a reality.
しかし、それには新しいアーキテクチャが必要になるでしょうし、それを実現するためには新しい戦略が必要になると思います。
And of course, over the weekend, I don't know if it was over the weekend, actually.
そしてもちろん、週末に、実際に週末だったかどうかはわかりません。
I'm losing track of days because there's so much to cover.
私は日付を失ってしまっています。カバーしなければならないことがたくさんあるからです。
And essentially, ChatGPT has been losing its mind and nobody knows why.
基本的に、ChatGPTは理由がわからないままに狂っているようです。
And this wasn't just something that was people on Twitter or people on Reddit just stating that it lost its mind and then opening eyes like we didn't see anything like that.
これはただのTwitterやRedditの人々が気が狂ったと言って目を覚まし、それを見たかのようにするだけではありませんでした。
It was a real, real thing.
それは本当に、本当のことでした。
Now, for some reason, the original tweets capturing this stuff have just been deleted.
今、何らかの理由で、このことを捉えた元のツイートは削除されてしまいました。
And you can see right here, it says, not found.
ここに書かれているように、見つかりませんと表示されています。
I don't know why, but if we look at the tweet here, it's just gone.
なぜかはわかりませんが、ここにあるツイートを見ても、ただ消えてしまっています。
But he's saying, really cool how most advanced AI systems can randomly develop unpredictable insanity and the developer has no idea why.
しかし、彼は言っています、最も先進的なAIシステムがランダムに予測不可能な狂気を発展させ、開発者自身がなぜかわからないというのは本当にクールだと。
Very reassuring for the future.
将来にとって非常に安心です。
And of course, essentially, he's saying that you know, any idea what happened here, Connor, I know neural net transformers are fundamentally black boxes, but it seems strange that an LLM that's been generating grammatically perfect text for over a year would suddenly be out garbage.
そしてもちろん、基本的には、ここで何が起こったのか分かるかな、コナー、ニューラルネットトランスフォーマーは基本的にブラックボックスですが、1年以上にわたって文法的に完璧なテキストを生成していた大規模言語モデルが突然ゴミになるのは奇妙に思えます。
Now, if you want to see what actually was happening, you can see that people were asking it normal questions and then someone was asking it about tomatoes or whatever.
実際に何が起こっていたのかを見たい場合は、人々が普通の質問をしていて、そして誰かがトマトについてなどを尋ねていたことがわかります。
And then it says frequent, frequent capsitation during the time framework of this endeavor will also ensure that the supplies of the deity of your like, it's gibberish.
そして、この取り組みの時間枠内での頻繁なキャプシテーションは、あなたの神の供給を確実にするでしょう、とか、意味不明なことを言っています。
Essentially, what we're looking at is complete gibberish.
基本的に、私たちが見ているのは完全なナンセンスです。
And people were confused because it was something that just wasn't working.
そして、人々は混乱していました、なぜならそれはうまくいっていないものだったからです。
And of course, someone else was stating that is the first time seeing GPT-4 give straight gibberish.
そしてもちろん、別の誰かが、GPT-4がまったくナンセンスなことを言っているのを初めて見たと述べていました。
You can see here that careful planning and selection of tools and levels of service should be the counter of the enormous timber that addresses all people.
ここで、注意深い計画とツールの選択、およびサービスのレベルの選択が、すべての人に対応する巨大な木材の対抗策であるべきであることがわかります。
That doesn't even make any sense.
それはまったく意味をなしません。
OK, no point me reading this.
OK。これを読む意味はありません。
But the point is, is that we saw gibberish.
しかし、ポイントは、私たちがナンセンスを見たということです。
And then this was pretty funny.
そして、これはかなり面白かったです。
OK.
OK。
Someone literally stated that Jesus just speak normal and says, got it.
誰かが文字通り、イエスは普通に話して「わかった」と言ったと述べていました。
And then you can see, like, it's just it's just gibberish.
そして、実際には、ただのたわごとなんです。
There's no point me even reading it because it doesn't even literally make any sense.
私がそれを読む意味すらないんです、なぜなら文字通り何の意味もないからです。
But the point is, is that it's pretty crazy.
しかしポイントは、かなりクレイジーだということです。
And I'm guessing that what happened is is OpenAI's response.
そして、私が推測するに、起こったことはOpenAIの対応です。
So OpenAI did actually make a response because they said, look, we've acknowledged that this is actually a problem right now.
実際にOpenAIは対応をしました、なぜなら、この問題が実際に問題であることを認めました。
Our systems are glitching out.
私たちのシステムがグリッチを起こしていると述べました。
And they stated that there's an unexpected responses from ChatGPT.
そして、ChatGPTから予期しない応答があると述べています。
So it says, on February the 20th, 2024, an optimization to the user experience introduced and introduced a bug with how the model processes language.
それによると、2024年2月20日に、ユーザーエクスペリエンスの最適化が導入され、モデルが言語を処理する方法にバグが導入されました。
LLMs generate responses by randomly sampling words based on in-part probabilities.
大規模言語モデルは、部分的な確率に基づいて単語をランダムにサンプリングして応答を生成します。
Their language consists of numbers that map to tokens.
彼らの言語は、トークンにマップされる数字で構成されています。
In this case, the bug was a step where the model chooses these numbers akin to being lost in translation.
この場合、バグはモデルがこれらの数字を選択する段階で、翻訳ミスのようなものでした。
The model chose the wrong numbers, which produced the wrong word sentences that made no sense.
モデルは間違った数字を選択し、意味のない間違った文章を生成しました。
More technically, inference kernels produced the wrong results when using certain GPU configurations.
より技術的に言えば、推論カーネルは特定のGPU構成を使用する際に間違った結果を生み出しました。
Point is, is that this was an issue.
要点は、これが問題だったということです。
I mean, some people are like, oh, no, the AI is going crazy.
つまり、一部の人々は、「ああ、いや、AIがおかしくなっている」と言っています。
It's going cycle.
サイクルに入ってしまっています。
We have no idea what's going on.
何が起こっているのか全くわかりません。
And of course, there's this response from ChatGPT.
そしてもちろん、ChatGPTからのこの返答があります。
I kind of believe that I mean, response from OpenAI.
私はある意味、OpenAIからの返答を信じています。
I can't believe OpenAI in this sense, but I think it would have been a lot more concerning if the chat bot was actually going crazy and it was actually saying things that were coherent.
OpenAIには信じられないが、もしチャットボットが実際に狂っていて、理にかなったことを言っていたら、より心配だったでしょう。
But what with what the user requested, that would be something that's scary.
しかし、ユーザーが要求した内容については、それは恐ろしいことだろう。
Like, for example, if it was saying you asked it, how do I bake a cake?
例えば、あなたがそれに尋ねたと言っていたら、どうやってケーキを焼くか？
And it was saying, man, I'm tired of taking your request.
そして、それが言っていたら、おい、あなたのリクエストにうんざりしている。
I really just need to get out of here.
本当にここから出たいです。
Let's say it was saying something like that.
そう言っていたとしましょう。
That would be a cause for concern.
それは懸念の原因となるでしょう。
And I'm pretty sure they'd put a delay to AI development instantly.
そして、私はかなり確信していますが、AIの開発に即座に遅延をかけるでしょう。
And of course, lastly, but not leastly, I'm going to leave you guys with this because this is essentially crazy.
そしてもちろん、最後になりますが、これは本当に狂っていると言えます。
This is one of the craziest clips.
これは最も狂ったクリップの1つです。
In fact, this is not the craziest clip.
実際、これは最も狂ったクリップではありません。
That's a lie.
それは嘘です。
This is a crazy clip.
これはとんでもないクリップです。
But it's it's so good because you can see like the lighting on the back.
しかし、後ろのライティングが見えるので、それがとても良いんです。
You can see the waves, the way it just looks so realistic.
波が見えるし、ただ本当にリアルに見えるんです。
Like if you showed me this picture, I'll say that's real.
この写真を見せられたら、それは本物だと言います。
That is a real video.
それは本物のビデオです。
You can't tell me otherwise.
おっしゃることには異論はないですね。
Someone clearly just sticky tape this back to this hermit crab.
誰かが明らかにこのヤドカリにこれを粘着テープで貼り直したんです。
And the crazy thing is, is that in one of the videos that the light is going through the sand and it's leaving like like it's it's displacing the sand as it moves forward.
そして狂ったことは、砂の中を光が通過しているビデオの1つで、砂を移動する際に砂を置き換えているように見えることです。
So some people were debating again that this is clear understanding of physics and how things work.
一部の人々は再び、これが物理学や物事がどのように機能するかの明確な理解であるかについて議論していました。
I mean, you can argue the nuance if you completely want to.
完全に望むなら、微妙な違いを議論することができます。
But either way, these systems are going to get better.
しかし、いずれにせよ、これらのシステムはより良くなるでしょう。
And it has to be clear that this, even if it doesn't understand physics, it understands the relations between certain things.
そして、これは明確でなければならない、これは物理学を理解していなくても、特定の物事の関係を理解していることを理解しています。
So it's clear that that is a level of understanding that maybe we don't even understand how it works.
それは、私たちがどのようにそれが機能するかさえ理解していないかもしれない理解レベルであることが明らかです。
I mean, of course, people are OpenAI do.
もちろん、OpenAIの人々はそうです。
But of course, looking outwards, looking in technology is quite hard to understand.
しかしもちろん、外を見たり、技術を見たりすることはかなり理解しにくいです。
Of course, there was another one here.
ここにもう1つありましたね。
I think this is the one I'm talking about, where, like, it kind of displaces the sand a little bit, which is pretty cool.
これが私が話しているものだと思いますが、砂が少し移動するような感じで、かなりクールです。
So there was also this video.
このビデオもありました。
And I would say even though this is AI generated, like right now, we're watching is AI generated.
これがAIが生成したものであるとしても、今見ているのはAIが生成したものです。
I still like deep down, there's still 25 percent of me that doesn't believe this is AI generated.
しかし、心の奥底では、これが本当にAIが生成したものだとは25パーセントしか信じていません。
Like some part of me believes that OpenAI just placed a dog on a chair and took this video and said it was AI generated, because I have to be honest with you guys, this video is just a little bit too realistic.
私の一部は、OpenAIがただ犬を椅子に乗せてこのビデオを撮影し、それをAIが生成したと言っているだけではないかと信じています。なぜなら、正直言って、このビデオは少しリアルすぎるからです。
It has the realistic lighting, the realistic shadows.
リアルな照明、リアルな影があります。
And I can imagine someone doing that to their dog, like the way how the clothes are like crumpled up, the way how the dog just like kind of does it a little bit at the start.
服がしわくちゃになっているように、犬が最初に少しやるように、犬がちょっとやるように、誰かがそれを自分の犬にやるのを想像できます。
And then it kind of stops.
そして、それが停止する。
Like I've seen animals do that before.
動物がそれをするのを見たことがあります。
This is way too realistic for me.
これは私にとってあまりにもリアルすぎます。
OK.
OK。
And some people are stating that the lights are supposed to come from the actual computer screen.
そして、一部の人々は、光が実際のコンピューター画面から来るべきだと述べています。
And that's kind of a bug.
それはちょっとしたバグです。
And of course, like the light coming from behind.
そしてもちろん、後ろから光が差し込んでくるような感じです。
And it doesn't really make sense.
それは実際にはあまり意味をなしません。
I guess you could say that I guess you could say that the light actually being on the dogs in front of the dog's face when it's not supposed to be.
言うならば、犬の顔の前で、本来ならばそうあってはならないのに、実際に犬の上に光が当たっていると言えるでしょう。
I guess you could say that because if it lights up the back of the screen
もしかしたらそう言えるかもしれませんね、なぜならそれが画面の裏側を照らすからです。
And then it lights up the front of the dog's face.
そしてそれは犬の顔の前を照らします。
I guess you could say that that doesn't really make sense in terms of the shadows.
影の観点からすると、それは実際にはあまり意味をなさないと言えるかもしれません。
But I do think that this is really crazy with how it gets everything right.
しかし、これがすべてを正確に把握する方法については本当に狂っていると思います。
And the lighting being switched on and off, and the camera movement as well.
そして、照明がオンとオフに切り替わり、カメラの動きもそうです。
I mean, I don't know.
つまり、私はわかりません。
I'm genuinely blown away.
本当に驚いています。
This is not something like I'm trying to convince you guys.
これは、皆さんを説得しようとしているわけではありません。
I'm just had to grapple with this reality for a second because it was like this is AI generated.
これはAIが生成したものだという現実と向き合わなければならなかったんです。
Yeah, it is AI generated.
そうです、これはAIが生成したものです。
And you can see the comments here.
そして、ここにコメントが表示されます。
I scrolled past this because I thought it was an ad.
広告だと思ってスクロールしていました。
Holy crap.
まさか。
A lot of dogs about to lose their job.
たくさんの犬たちが仕事を失うことになる。
The way that the dog is looking around makes it look like a real owner forced it to get in the chair.
犬が周りを見回している様子は、本当の飼い主が椅子に座らせたように見えます。
And I had to stare at the video for three hard minutes to find out it was a fake.
そして、そのビデオを3分間じっくりと見つめなければ、それが偽物だと気づくことができませんでした。
And you know what's crazy?
それが信じられないことなんだよね？
What's crazy about this clip is that Reddit mods actually had to confirm.
この動画が信じられないところは、Redditのモデレーターが実際に確認しなければならなかったことだ。
I think it was either three days or three hours for like they were debating on whether or not this video was generated because like they just they just didn't agree, like they just didn't agree.
たぶん3日間か3時間のどちらかで、彼らはこのビデオが生成されたものかどうかについて議論していたんです。ただ単に、彼らは意見が一致しなかっただけです、本当に、ただそれだけです。
So that just goes to show right now, even humans like myself think the AI generated content isn't.
だから、今は、私のような人間でさえ、AIが生成したコンテンツはそうではないと考えているということを示しているんだ。
So we live in a very interesting time.
だから、私たちは非常に興味深い時代に生きているんだ。
So with that being said, hopefully you guys enjoyed this week at AI.
というわけで、皆さんが今週のAIを楽しんでくれたらいいな。
この記事が気に入ったらサポートをしてみませんか？