【ChatPDFとPDF GPT】英語解説を日本語で読む【2023年4月14日｜@hu-po】
『ChatPDF』と『PDF GPT』の比較です。
公開日：2023年4月14日
※動画を再生してから、インタビューを読むのがオススメです。
Testing.
テスト。
Testing, testing.
テスト、テスト。
Testing, testing.
テスト、テスト。
We're doing some testing of the microphone to make sure that the volume is good.
音量が良好であることを確認するために、マイクのテストを行っています。
And we will continue to test until we have confirmed that the volume is good.
そして、音量が良好であることが確認できるまで、テストを続けます。
Is the volume good?
音量は大丈夫ですか？
Alright, sounds like the volume is good.
よし、音量は問題なさそうだ。
Welcome.
ようこそ。
Happy Friday.
ハッピーフライデー。
We got an interesting stream today.
今日は面白い企画があります。
We're going to be looking at PDF summarizers.
PDFサマライザーについて見ていきます。
So since GPT has been released, there's been a couple kind of wrappers over GPT that allow you to kind of talk to a PDF.
GPTがリリースされて以来、PDFと対話できるGPTのラッパーがいくつかあります。
So I did a little bit of browsing and I basically found that there's two that seem to be kind of dominant here.
そこで、少し調べてみたのですが、基本的には2つが主流になっているようです。
We have PDFGPT.io and then ChatPDF.com.
PDFGPT.ioと、ChatPDF.comです。
So I went ahead and I downloaded a paper.
そこで、ある論文をダウンロードしてみました。
This is a paper that someone in our Discord recommended and it's kind of a generic summary paper of deep learning.
これは私たちのDiscordで誰かが推薦してくれた論文で、深層学習の一般的な要約論文という感じです。
So what we're going to be doing is we're going to be giving this PDF to both of these PDF chat bots.
これから行うのは、このPDFを両方のPDFチャットボットに渡すことです。
And then we're going to see how they do in terms of finding information.
そして、情報を探すという点で、両者がどのように動くかを見ていきます。
And then we're also going to see how they do compared to GPT-4.
そして、GPT-4と比較してどうなのかも見ていきます。
So GPT-4 obviously does not know this exact PDF, but it has kind of generalist knowledge.
GPT-4は明らかにこのPDFを正確に知っているわけではありませんが、一般論的な知識は持っています。
So maybe it does well, maybe it does not do well.
ですから、うまくいくかもしれませんし、うまくいかないかもしれません。
We'll see.
いずれ分かることです。
So first thing we're going to do here is we are going to open up our good old file browser.
では、まず最初に、ファイルブラウザを開いてみましょう。
We're going to go into our downloads and we are going to put in this PDF, the deep learning survey, and we're also going to upload the same PDF into here.
ダウンロードを開き、このPDF、ディープラーニングのアンケートを入れて、同じPDFをここにアップロードします。
Alright, so both of them have processed it.
さて、これで両方とも処理されました。
It took like very few time, right?
非常に短い時間で処理されましたね。
So this really has me thinking about whether they actually uploaded the document and like read the entire thing or whether they basically just said, hey, we acknowledge that you've uploaded it, right?
実際には、彼らがそのドキュメントをアップロードして、すべての内容を読んだのか、それとも「アップロードが完了しました」とだけ言って終わりにしたのか、という疑問が浮かびます。
Because I have a feeling that the amount of time that passed is not enough time to scrape this entire PDF for text and then feed all that text into GPT.
というのも、このPDFのテキストをすべてスクレイピングして、そのテキストをすべてGPTに送り込むには、時間が足りないような気がするんです。
So I don't think it's actually read the entire thing yet.
だから、まだ全部は読んでないと思うんです。
I think it's just loaded it.
読み込んだだけだと思います。
So next thing, kind of maybe on the interface here, I do like this interface.
次に、このインターフェースについてですが、私はこのインターフェースが好きです。
The fact that in PDF GPT, you have the PDF on the side here.
PDF GPTでは、PDFが横に表示されるんですね。
I think that's, I like that implementation, right?
この実装が好きなんですよね。
I like being able to do that.
それができるのがいいんです。
I don't like that here in ChatPDF.
しかし、ChatPDFではそれができません。
You don't have the PDF anymore.
もうPDFはないんです。
You would have to kind of do this.
このようなことをしなければならないのです。
So let's ask it for something a little bit generic.
では、少し一般的なことを聞いてみましょう。
Let's start with an easy question.
まずは簡単な質問から始めましょう。
Let's say what is deep learning in two sentences?
ディープラーニングとは何か、2つの文章で説明しましょう。
What is deep learning in one sentence?
ディープラーニングとは1文で何ですか？
Explain deep learning in a couple sentences.
ディープラーニングを2文ほどで説明してください。
So we're going to ask ChatPDF, we're going to ask PDF GPT, and then we're going to ask GPT-4.
では、チャットのPDF、PDFのGPT、そしてGPT-4を聞いてみます。
Okay.
わかりました。
Deep learning is a subfield of machine learning that uses artificial neural networks to model and solve complex problems.
ディープラーニングは、複雑な問題をモデル化して解決するために人工ニューラルネットワークを使用する機械学習のサブフィールドです。
It involves training these networks on large amounts of data to learn patterns and make predictions or decisions.
大量のデータに対してこれらのネットワークを訓練し、パターンを学習して予測や決定を行うことが含まれる。
It seems correct.
その通りだと思います。
And kind of what I'm looking for here is I'm looking to see if the response changes.
そして、私がここで注目しているのは、反応が変わるかどうかです。
So obviously both of these under the hood are just GPT.
この2つとも、ボンネットの中では明らかにGPTです。
So I want to see what happens when you give it the PDF and now it has kind of information that potentially overrides whatever it has in the original kind of GPT answer.
そこで、PDFを渡したときにどうなるかを見てみたいのですが、元のGPTの答えを上書きするような情報を持っている可能性があります。
So I kind of want to see how much different it is to this one, right?
だから、この答えとどれくらい違うのか、見てみたいんです。
So right off the bat, I'm seeing that the ChatPDF and GPT-4 are very similar here.
つまり、ChatPDFとGPT-4は非常によく似ていることがわかります。
Deep learning is a subfield of artificial intelligence that involves training artificial neural networks to recognize patterns, make decisions and learn from experience.
ディープラーニングとは、人工知能のサブフィールドで、人工ニューラルネットワークを訓練して、パターンの認識、意思決定、経験からの学習を行うことです。
Model and solve complex problems.
複雑な問題をモデル化して解決する。
One thing I've noticed is that the wording is very important, right?
一つ気になったのは、文言がとても重要だということですね。
So ChatGPT being an LLM, the amount of attention it pays to the actual tokens is huge, right?
ChatGPTはLLMということで、実際のトークンへの注目度が大きいんですね。
It's like recognizing patterns that you don't even recognize as a human.
人間では認識できないようなパターンを認識しているようなものなんです。
It knows that if you use specific words, you're kind of putting it into a specific like area of its kind of embedding space, right?
特定の単語を使えば、その単語を埋め込み空間の特定の領域に置くことになる、ということを認識しているんです。
And you might not even realize that you're doing that.
そして、自分がそうしていることにさえ気づかないかもしれません。
So sometimes even just changing words around or the fact that it uses some words and not other words can tell you a lot.
ですから、言葉を変えてみたり、ある言葉は使っているが他の言葉は使っていないという事実だけでも、多くのことがわかることがあるのです。
Inspired by the structure and function of the human brains.
人間の脳の構造と機能からインスパイアされた。
Like for example, inspired here, right?
例えば、ここでインスパイアされた、とかね。
That's not a word that appears at all here.
ここでは全く出てこない言葉です。
Let's see if it appears here.
ここに出てくるかどうか見てみましょう。
Oh, this one has references.
あ、これは参考文献がありますね。
Oh, that's kind of cool.
ああ、それはちょっとかっこいいですね。
I like that.
いいなあ、これ。
Okay.
そうですか。
So, this guy, this ChatPDF, just kind of gave me an answer, which is actually very similar to the GPT-4 answer.
このチャットのPDFは、GPT-4の答えにとてもよく似ているんです。
But PDF GPT gave me an answer, and it looks like this one's a little bit more specific to the paper.
でもPDFのGPTは答えを出してくれたんですが、これはもう少し論文に特化しているようです。
So it looks like it pulled it specifically from the paper and then it actually gave references to the exact paper.
つまり、論文から具体的に引用しているように見え、さらに正確な論文への参照も示しています。
So this is the same page 33 in this paper.
つまり、これはこの論文と同じ33ページ目です。
Some field of machine learning procedure consists of estimating the model parameters such that the learn strategies of nonlinear information processing units with hierarchical architectures are exploited for feature learning and pattern recognition.
機械学習の手続きの一部は、モデルのパラメータを推定して、階層的なアーキテクチャを持つ非線形情報処理ユニットの学習戦略を特徴学習やパターン認識に利用することです。
Yeah, this feels like it's much more from the paper.
うん、この方が論文からずっと多い気がする。
Okay.
なるほど。
So, so far PDF GPT-1, ChatPDF zero.
ここまではPDF GPT-1、ChatPDFゼロです。
Chat PDF just kind of gave us the GPT-4 answer.
ChatPDFはGPT-4の答えを教えてくれただけです。
PDF GPT gave us something specific to this paper.
PDFのGPTはこの論文に特化したものを教えてくれました。
So let's keep going here.
では、このまま続けてみましょう。
Let's find something a little bit more complicated that perhaps a ChatGPT does not know about.
ChatGPTが知らないような、もう少し複雑なものを探してみましょう。
So in this summary paper, they kind of start, they talk about the different types of deep learning approaches.
この論文では、まずディープラーニングのアプローチの種類を説明しています。
You got semi-supervised, supervised, partially supervised and unsupervised.
半教師付き、教師付き、部分教師付き、教師なし。
You got reinforcement learning.
強化学習もあります。
You got deep reinforcement learning.
そして、深層強化学習。
Does anybody actually do reinforcement learning anymore?
強化学習を実際にやっている人はもういないのでしょうか？
That's not deep reinforcement learning.
あれは深い強化学習じゃない。
Supervised learning, semi-supervised learning, unsupervised learning.
教師あり学習、半教師あり学習、教師なし学習。
Let's see if, so this right here, this breakup into supervised, semi-supervised, partially supervised or unsupervised, that's not necessarily, like sometimes it's broken up differently, right?
では、この「教師あり」「半教師あり」「部分教師あり」「教師なし」という分け方ですが、必ずしもそうではなく、違う分け方をする場合もありますよね？
You can just break it up as supervised, unsupervised.
教師あり、教師なしと分けるだけでいいんです。
So let's see.
では、見てみましょう。
What are the different types of supervised learning?
教師あり学習にはどのような種類があるのでしょうか？
Let's see what that has to answer.
その答えを見てみましょう。
We got a send, send, send it.
送って、送って、送るんだ。
Okay.
なるほど。
Supervised learning is a machine learning paradigm where an algorithm learns from labeled data using input output pairs to make predictions.
教師あり学習は機械学習のパラダイムで、アルゴリズムが入力と出力のペアを用いてラベル付きデータから学習し、予測を行うものです。
Yep.
そうだ
That's correct.
その通りだ
There are main, two main types of supervised learning regression.
教師あり学習の回帰は主に2種類あります。
Goals to predict a continuous numerical value.
連続的な数値を予測することを目的とする
Okay.
なるほど。
In classification, the goal is to predict which category and input belongs to.
分類では、入力がどのカテゴリに属するかを予測することが目標です。
So that seems all relatively correct.
ということで、どれも比較的正しいようです。
Let's look at here.
ここを見てみましょう。
Ah, you see here PDF GPT might be winning this again.
PDFのGPTがまた勝っているかもしれませんね。
Look at this.
これを見てください。
You see this is much more from the paper.
これは論文にあったものです。
So it goes supervised, semi-supervised, unsupervised.
教師あり、半教師あり、教師なしと続きます。
So you have supervised, semi-supervised and unsupervised.
つまり、教師あり、半教師あり、教師なしということです。
And it also talks about deep reinforcement learning here.
また、ここでは深層強化学習についても触れられています。
Deep reinforcement learning began in 2013 with Google deep mind.
深層強化学習は2013年にGoogle deep mindで始まりました。
That is not necessarily true.
それは必ずしも真実ではありません。
I think people were doing that beforehand.
もっと前からやっていたような気がします。
Okay.
なるほど。
But I do like how it, uh, gave us the three things here from the paper.
でも、論文から3つのことを教えてくれたのはよかったですね。
How many pages and you feed into it?
何ページくらい読み込んだんですか？
Uh, this paper is pretty long.
この論文はかなり長いんです。
So I specifically, uh, chose papers that are long here.
だから、私は特に、長い紙を選んでいるんだ。
I have another one here.
もう1つ、こちらにもあります。
Like this is like a history paper, but this is 39 pages.
これは歴史の論文なんですが、39ページあります。
So it's very unlikely that it read the entire thing.
だから、全部読んだとはとても思えません。
I think it's probably doing some kind of similarity search and let's look at ChatPDF here.
おそらく類似検索をしているのだと思いますが、ここでチャットのPDFを見てみましょう。
According to the PDF file, there are different types of supervised learning for deep learning, including deep neural networks, convolutional neural networks for current neural networks.
PDFファイルによると、ディープラーニングのための教師あり学習には、ディープニューラルネットワーク、カレントニューラルネットワークのための畳み込みニューラルネットワークなどの種類があるそうです。
Oh shit.
あ、しまった。
I just realized we gave it a wrong word here.
ここで間違った単語を与えてしまったことに今気づきました。
We mistyped it.
ミスタイプしてしまいました。
We called it so you provised.
私たちは「provised」と呼んでいます。
Chat PDF actually did the worst here.
ChatPDFは実はここで一番悪いことをしました。
There are different types of unsupervised learning, current gated recurrent units.
教師なし学習には、電流ゲート型リカレントユニットという種類があります。
These are like just architectures.
これらは単なるアーキテクチャのようなものです。
These aren't actually even, sorry.
これらは単なるアーキテクチャに過ぎません。
I realized this is not, you guys can't see this.
これは、みなさんが見ることができないものだと気づきました。
My bad.
失礼しました。
Oh, let me switch it over like this.
では、このように切り替えてみます。
So ChatPDF not doing great here.
チャットのPDFは、ここではうまくいっていないようです。
This is not actually any type of supervised learning.
これは教師あり学習の一種ではありません。
This is a model architectures.
これはモデル・アーキテクチャです。
It's just kind of giving you a generic model architecture paragraph PDF, GPT, a little bit better.
一般的なモデル・アーキテクチャを示しただけですが、PDFとGPTは少し良くなっています。
And then of course GPT four, probably the best answer in terms of succinctness and kind of actually giving you the right idea.
そしてもちろんGPT-4は、簡潔さと実際に正しいアイデアを与えるという点で、おそらく最良の答えでしょう。
Okay.
なるほど。
The famous Yon Lacoon cake, right?
有名なヨンラクーンケーキですね？
If you guys have never heard of this Yon Lacoon cake, just in case you see it in like a presentation at a paper conference or at some kind of conference.
もし、みなさんがこのヨン・ラクーンケーキのことを聞いたことがないのであれば、論文発表会や何かの会議でこのケーキを見たことがあるかもしれません。
And now you know the joke.
そして、このジョークをご存じでしょう。
Basically it's this cake.
基本的には、このケーキのことです。
So, Yann LeCun is famous for this, but basically, he always talks about how the cherry on top is the reinforcement learning, and the meat of the cake is basically unsupervised learning and or self-supervised learning, which is kind of the same thing.
ヤン・ルカンはこれで有名ですが、彼はいつも強化学習が上に乗ったサクランボであり、ケーキの肉だというのが教師なし学習や自己教師付き学習であると語っています。これらはほぼ同じことです。
And actually this analogy became true, right?
そして実際に、この例えは真実となりましたね。
When you think about it, how is a ChatGPT trained?
ChatGPTはどのように学習するのでしょうか？
The majority of it is a next token prediction, which is a kind of a form of self-supervised learning or even unsupervised learning.
その大部分は次のトークンを予測するもので、これは自己教師あり学習、あるいは教師なし学習の一種です。
And the cherry on top is the RLHF, which is reinforcement learning from human feedback.
さらに、人間のフィードバックによる強化学習であるRLHFが加わります。
So in a way he was actually correct.
つまり、ある意味、彼は実際に正しかったのです。
So as much shit as people give him for that, he was actually correct in that.
だから、人々が彼を非難するのと同じくらい、彼は実際に正しかったのです。
Okay.
なるほど。
Let's see.
では、見てみましょう。
A key difference between traditional ML and DL is how features are extracted.
従来のMLとDLの重要な違いは、特徴をどのように抽出するかです。
Okay.
なるほど。
Let's see.
では、見てみましょう。
We're going to copy this sentence kind of exactly, right?
この文章をなんとなく正確にコピーするんですよね？
What is a key difference between traditional ML and DL, right?
従来のMLとDLの重要な違いは何でしょうか？
And what I'm looking for here is the fact that this is a very specific kind of phrase, right?
ここで私が探しているのは、これが非常に特殊な種類のフレーズであるという事実ですね？
A specific sequence of tokens here.
ここでは、特定のトークンの並びです。
So if either of these PDF GPTs are doing some kind of similarity search, they're going to hit it right here.
ですから、もしPDF GPTのどちらかが何らかの類似性検索を行った場合、ここでヒットすることになります。
They're going to land exactly here because I'm copy pasting an exact sentence from it.
なぜなら、私がコピーペーストしているのは、まさにこの文章だからです。
So that's kind of what I'm looking for.
つまり、私が探しているのは、このようなものです。
I'm looking to see if they give me the exact thing.
正確な答えが返ってくるかどうかを見ているのです。
Put that there, answer all three of these.
この3つに答えてください。
Okay.
わかりました。
So what does GPT-4 tell us?
では、GPT-4は何を教えてくれるのでしょうか？
Key difference between traditional machine learning and deep learning lies in their feature representation and learning approach.
従来の機械学習と深層学習の主な違いは、その特徴表現と学習アプローチにあります。
In traditional ML, the most critical step is feature engineering.
伝統的な機械学習では、最も重要なステップは特徴エンジニアリングです。
Where domain experts manually select, extract, and transform the most relevant features from raw data to predict, represent the problem.
ここでは、専門家が生データから最も関連性の高い特徴を手動で選択、抽出、変換し、問題を予測、表現します。
ML algorithms then learn from these handcrafted features to make predictions.
そしてMLアルゴリズムは、これらの手作業で作られた特徴から学習して予測を行う。
This is correct.
これは正しい。
I would say there's still plenty of feature engineering in the deep learning world, but it's moved kind of more closer to the data, right?
ディープラーニングの世界では、今でも多くの特徴抽出が行われていますが、よりデータに近いところで行われているのですね。
So feature engineering in the modern deep learning world is actually mostly called data cleaning, right?
つまり、現代のディープラーニングの世界におけるフィーチャーエンジニアリングは、実はほとんどがデータクリーニングと呼ばれているんですね。
But when you're cleaning a data set, what are you really doing?
しかし、データセットをクリーニングするとき、実際には何をやっているのでしょうか？
You're basically engineering the features, right?
基本的には特徴量をエンジニアリングしているわけですよね。
But what GPT is referring to here is that it used to be the case that not only would you clean the data, but you would also, basically, for example, in computer vision, you would choose which actual feature maps you would convolve around on your image, right?
しかし、GPTがここで指摘しているのは、データをクリーニングするだけでなく、たとえばコンピュータビジョンでは、画像上でどの特徴マップを畳み込むかを選択することも行われていたということです。
You would maybe choose a specific descriptor such as sift or orb for key points, and you don't really have to do that anymore, right?
例えば、キーポイントに対して、siftやorbといった特定の記述子を選択すると思いますが、もうその必要はありませんよね。
Now, you put the image in its raw form.
では、画像を生のまま置いてみましょう。
You still have to clean the dataset, but the convolutional neural network is going to create an embedding space of features that is relevant to your problem without you having to design it by hand.
データセットをクリーニングする必要がありますが、畳み込みニューラルネットワークは、手作業で設計しなくても、問題に関連する特徴の埋め込み空間を作成します。
Let's see what PDF GPT said.
PDF GPTの発言を見てみよう。
A key difference between traditional machine learning and deep learning is how features are extracted.
従来の機械学習とディープラーニングの決定的な違いは、特徴をどのように抽出するかということです。
You see, boom, how features are extracted.
特徴量がどのように抽出されるのか、ドカンと出てきましたね。
So it was a, it definitely is doing some kind of similarity search here.
ということで、ここは間違いなく何らかの類似性検索をしているのでした。
Traditional ML approaches use handmade features by applying several feature extraction algorithms.
伝統的なMLアプローチでは、いくつかの特徴抽出アルゴリズムを適用して、手作りの特徴を使います。
This is exact.
これは正確です。
Yeah, look at that.
そう、これを見てください。
All DL features are learned automatically.
DLの特徴量はすべて自動で学習されます。
On the other hand, in the case of DL, the features are learned automatically.
一方、DLの場合、特徴は自動で学習されます。
So this is actually pretty impressive.
だから、これは実はかなりすごいことなんです。
You see that?
これを見てください。
It got, it gave you the word for word here for the ML, and then it went straight to the word for word here for the DL, right?
MLの場合は単語単位で、DLの場合は単語単位で表示されますよね？
And it broke it into kind of a sentence with two parts here.
そして、それを2つのパートからなる文章に分割しています。
So it's, it's kind of copy pasting from the, from the PDF, but it's actually aware of kind of the knowledge.
つまり、PDFからコピーペーストしているようなものですが、実際には知識を認識しているのです。
So let's look at ChatPDF here.
では、ここでチャットのPDFを見てみましょう。
According to the PDF file, a key difference between traditional and machine and deep learning is how features are extracted.
このPDFによると、従来の機械学習とディープラーニングの重要な違いは、特徴をどのように抽出するかということだそうです。
Okay.
なるほど、そうなんですね。
So ChatPDF also did some kind of a similarity search and was able to find this exact part, right?
ChatPDFも類似検索みたいなことをして、この正確な部分を見つけることができたわけですね？
There you go.
ほらね、これ。
There's a magic word in how features are extracted.
特徴量の抽出方法にマジックワードがあるんです。
Traditional ML approaches, traditional ML approaches use handmade features by applying blah, blah, blah.
従来のMLアプローチ、伝統的なMLアプローチでは、ボツボツを適用して手作りの特徴量を使います。
Well, DL uses artificial neural networks to automatically learn features.
DLは人工ニューラルネットワークを使って特徴を自動学習させるんだ。
Well, DL features are learned automatically and represent hierarchy and high hierarchically in multiple levels.
さて、DLの特徴量は自動で学習され、階層や高さを多階層で表現します。
So this is a little bit more similar, right?
というわけで、これはちょっと似てますよね？
We're starting to see PDF, GPT and ChatPDF kind of gave us the same answer there, which is curious.
PDF、GPT、ChatPDFが同じ答えを出しているのが気になるところです。
This makes DL more suitable.
これはDLがより適していると言えます。
This is the strong point of DL against traditional ML approaches.
これは、従来のMLアプローチに対するDLの長所です。
So the structure is kind of the same.
つまり、構造は同じようなものなのです。
Obviously the tokens are different, but it seems like they're actually giving us the same answer here.
トークンが違うのは明らかですが、同じ答えを出しているように見えます。
I also like how here it references page number three.
また、3ページ目を参照しているのも良いですね。
So you have this kind of like you can click here and it'll tell you the, where it got the, the reference and the same kind of thing here, except here in a ChatPDF, it's, it's in the answer, right?
つまり、ここをクリックすると、参照元がどこから取得されたかを教えてくれるようなものがありますが、ChatPDFでは、答えの中にその情報が含まれていますよね。
So it just straight up tells you here.
だから、ここでストレートに教えてくれるんです。
So I kind of like the fact that here you can click on it.
だから、ここをクリックできるのがいいんです。
So, so far the PDF GPT seems to have the better UI.
今のところ、PDF GPTの方がUIは優れているようですね。
I like, I like the UI.
私はこのUIが好きです。
I like that you have the thing on the side, the show PDF and I like the references here.
サイドにPDFを表示する機能があるのもいいですし、ここでのリファレンスも気に入っています。
The fact that you can click and I guess go here and click on that and it'll go to page two.
クリックして、ここに行って、それをクリックすると、2ページ目に行くことができます。
That's very nice, right?
これはとてもいいことですよね。
So in terms of the UI, this one, it seems better in terms of the answer.
UIという点では、こちらの方が答えの面で優れているように思います。
They're both kind of giving a similar answer here.
2人とも同じような答えをしていますね。
Both of them were able to find that exact part of the book.
2人とも、本の中のその部分を正確に見つけることができたのです。
And in terms of correctness, obviously both of them are kind of about the same, but these questions are pretty easy.
正答率という点では、どちらもほぼ同じですが、この問題はかなり簡単です。
So let's try to find something that's like kind of obscure, right?
では、ちょっと曖昧なものを探してみましょうか。
Some like the date for some specific paper, right?
ある特定の論文の日付とかね。
Like that seems like a big data analytics in 2014.
2014年のビッグデータ解析のようなものです。
That seems too easy, right?
簡単すぎませんか？
I want like a very obscure paper date and then see if ChatGPT gets it.
とても曖昧な論文の日付が欲しいのですが、チャットGPTがそれを手に入れるかどうか。
So I want something that I know GPT-4 doesn't know, right?
だから、GPT-4が知らないようなものが欲しいんだ。
So let's try to find something that GPT-4 probably will not know.
では、GPT-4がおそらく知らないであろうものを探してみましょう。
Uh, weight decay, momentum, back propagation, SGD.
重量減衰、運動量、逆伝播、SGD...。
These are all just kind of basic concepts.
これらはすべて、基本的な概念に過ぎない。
GPT-4 is for sure going to know it.
GPT-4は必ず知っているはずです。
Network structure was first proposed by Fukushima in 1988.
ネットワーク構造は1988年に福島が初めて提唱した。
Maybe, maybe it doesn't know this.
もしかしたら、もしかしたら、これを知らないかもしれない。
Let's see if GPT-4 knows this.
GPT-4がこれを知っているかどうか見てみよう。
When was, when did Fukushima first describe the CNN?
福島が初めてCNNを説明したのはいつだったかな？
It wasn't even a CNN.
CNNとまではいかなかった。
I think he described an MLP at that time.
その時はMLPを描写していたような気がする。
I'm not sure.
よく分かりませんが。
Let's ask ChatGPT.
ChatGPTに聞こう。
Let's ask PDF GPT and let's ask ChatPDF.
PDFGPTに聞こう、ChatPDFに聞こう。
Fukushima first described the concept of CNNs in a series of papers published between 1979 and 1980.
福島は1979年から1980年にかけて発表された一連の論文で、CNNの概念を初めて説明した。
Okay, so 1988 is actually the date here in the PDF.
さて、では1988年というのは、実はこのPDFの中の日付です。
So something is wrong.
ということは、何かが間違っている。
The text does not provide information on when Fukushima first described the CNN.
本文には、福島が最初にCNNについて説明したのがいつなのか、情報がない。
Oh no.
いやはや。
Okay, there you go.
よし、これでよし。
So ChatPDF GPT not able to find this.
だから、ChatPDFのGPTはこれを見つけることができない。
I think because the word CNN is not here in this sentence, right?
この文章にはCNNという単語がないからだと思うんですよね。
So it's a CNN overview, but that's part of the title.
だから、CNNの概要なんだけど、それはタイトルの一部なんだ。
And then here the first sentence with the 1988 does not contain the tokens for CNN.
そして、1988年の最初の文にはCNNのトークンが含まれていません。
So maybe that's where it got confused.
だから、そこが混乱したのかもしれません。
Let's look at ChatPDF.
チャットのPDFを見てみましょう。
Oh shit.
やばい。
Look at it.
見てください。
Chat, ChatPDF got it.
チャット、ChatPDFがあった。
According to the PDF file, Fukushima first proposed the CNN in 1988.
PDFファイルによると、福島がCNNを最初に提案したのは1988年だそうです。
All right.
なるほどね。
Good old ChatPDF doing good here.
ChatPDFもいい感じだ
And GPT-4 gave us a hallucinated wrong answer, but let's double check this.
GPT-4は幻覚の誤答を出したが、再確認してみよう。
Fukushima CNN paper, a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position.
福島CNN論文、位置の変化に影響されないパターン認識機構のための自己組織化ニューラルネットワークモデル。
So this is a, sometimes when you hear people describe CNNs, they'll talk about translation invariance and translation or equivalent translation, spatial bias basically.
これは、CNNの説明を聞くときに、翻訳不変性、翻訳または同等の翻訳、基本的には空間バイアスについて話すことがあります。
What they mean is that the way that a covenant works, it doesn't matter if the dog is in the center of the image or in the corner of the image or in the bottom corner of the image, because you're convolving this feature map across the image, right?
彼らが言いたいのは、畳み込みの仕組みによって、犬が画像の中心にいるか、画像の隅にいるか、画像の下の隅にいるかに関係なく、特徴マップが画像全体に畳み込まれるということです。
So it's invariant to the spatial position of the dog in the image, right?
つまり、画像内の犬の空間的な位置に対して不変なんですね。
So that's kind of what he means here by unaffected by the shift in position.
つまり、位置の変化に影響されないというのは、こういうことなのです。
So, I mean, this is interesting here, right?
つまり、これは興味深いことなんですね。
Because this paper was released in 1980 and this is very clearly describing a convolutional neural net, right?
この論文は1980年に発表されたものですが、これは非常に明確に畳み込みニューラルネットを記述していますよね？
That this looks like a covenant.
これが規約のように見えるということです。
So I feel like this is wrong, right?
だから、これは間違っているような気がするんですね。
This survey paper tells us it's 1988, but this, this was already an idea in 1980.
この調査論文は1988年だと言っていますが、これは、1980年にはすでにアイデアとしてあったんです。
So there you go.
だから、そうなんです。
Chap GPT was actually correct.
チャップGPTは実は正しかった。
So damn, look at that.
だからくそ、見てみろ。
If I would have read this paper, I would have thought that this paper was correct and ChatGPT was actually incorrect.
この論文を読んでいたら、この論文が正しくて、ChatGPTは実は正しくないんだと思ったはずです。
But it turns out that ChatGPT is correct because the neocognitron paper came out in 1980, not in 1988.
でも、ネオコグニトロンの論文は1988年ではなく1980年に出ているので、ChatGPTが正しいことがわかったんです。
So there you go.
そうなんです。
That's, it's a mind bender right there.
これは、まさにマインドベンダーですね。
All right.
よし。
Let's find another thing.
別のものを探しましょう。
Let's find something that's like a little bit of a hard concept.
ちょっと難しい概念みたいなものを探してみよう。
Uh, kernels, learnable kernels, different types of activation functions.
カーネル、学習可能なカーネル、活性化関数の種類などだ
It's probably going to know that, um, complexity, the number of parameters, the dimensions of the input feature maps.
おそらく、複雑さ、パラメータの数、入力特徴マップの次元がわかると思うんです。
This is just convolutional nets kind of one-on-one here.
これは畳み込みネットの1対1みたいなものです。
Got to find something very obscure.
何か曖昧なものを見つけなければならない。
Okay.
なるほど。
So, AlexNet, which was a famous ConvNet that won, I think, the ImageNet awards, is one of the very first ConvNets and introduced two new concepts: LRN, local response normalization, which is kind of like a type of regularization, right?
そこで、ImageNet賞を受賞した有名なConvNetであるAlexNetは、初のConvNetの1つであり、新しい概念であるLRN（局所応答正規化）を導入しました。これは一種の正則化ですね。
Kind of like layer norm or batch norm.
レイヤーノルムやバッチノルムのようなものです。
One of those types of things and drop out are introduced in this network.
このネットワークでは、そのうちの1つとドロップアウトが導入されています。
Okay.
なるほど。
So let's see of what new, let's true that.
では、どんな新しいものがあるか見てみましょう。
What new types of, uh, park it tech.
どんな新しいタイプの、あー、パーク・イット・テックがあるか。
Sure.
そうですね。
Uh, design did Alex net introduce.
アレックス・ネットが導入したデザインは？
Okay.
そうだな
We're gonna ask that we're going to ask PDF GPT and we're going to ask ChatPDF.
PDFのGPTとチャットのPDFをお願いします。
All right.
そうですね
Let's see what GPT four gave us Alex net, uh, proposed by blah, blah, blah.
GPT4が出したアレックス・ネットの提案を見てみよう。
This is actually the opening.
実はこれがオープニングなんだ
I found her BT dub guys.
BTダブで見つけたんだ
Ilja here was a breakthrough in deep learning, particularly in the field of computer vision.
イルヤは深層学習、特にコンピュータビジョンの分野で画期的な進歩を遂げました。
It builds upon the foundational concepts of CNNs and introduced several key innovations, larger and deeper network.
CNNの基礎的な概念に基づき、いくつかの重要な革新的技術を導入し、より大きく、より深いネットワークを実現しました。
Okay, cool.
なるほど、なるほど。
That's kind of a easy one to pick though.
でも、これは簡単に選べるものです。
What I'm really interested in is see if it gets this LRN rel you activation function.
私が本当に興味があるのは、このLRNが活性化関数になるのかどうかということです。
I did not know that.
それは知りませんでした。
Is that true?
そうなんですか？
The rel you is from Alex net.
rel youはAlex netのものです。
But the rel you is older than that.
でも、rel youはそれよりも古いんですよ。
Oh, here you go.
ああ、これだ。
Drop out.
ドロップアウト。
Boom.
ブームだ。
Nice.
いいねぇ。
Okay.
そうか。
So I did get the drop out.
というわけで、ドロップアウトをゲットしました。
See what PDF GPT is deeper and wider model.
PDF GPTがより深く、より広いモデルであることを確認してください。
Okay.
よし。
Here you go.
さあ、どうぞ。
LRN it got that some PDF GPT doing well, getting the LRN and getting the drop out deeper and wider.
LRNを取得し、ドロップアウトをより深く、より広く取得することで、いくつかのPDF GPTがうまくいきました。
You see how both of them have this deeper and wider.
どちらも、より深く、より広くなっているのがわかります。
So both of them fat like kind of centered in on that particular kind of sequence of tokens.
どちらも、ある特定のトークンの並びを中心に据えているような感じですね。
They're deeper and wider at five convolutional layers followed by three convolutional layers, fully connected, use rectified linear units.
5つの畳み込み層と3つの畳み込み層、完全連結、整流された線形単位を使用することで、より深く、より広くなっています。
Also use drop out regularization to prevent overfitting drop out to regularize the network.
また、オーバーフィッティングを防ぐためにドロップアウト正則化を使って、ネットワークを正則化します。
It does not talk about this local response normalization So you see ChatPDF, maybe a little bit more succinct.
このローカルレスポンスの正規化については触れていませんので、ChatPDFをご覧ください。
Like this one seems PDF GPT a little bit more wordy, but both of them got the drop out PDF GPT got the layer local response normalization.
このように、PDF GPTはもう少し言葉足らずのようですが、どちらもドロップアウトを取得しています PDF GPTはレイヤーロカルレスポンス正規化を取得しています。
Chat PDF did not get the local response, local response normalization and neither did GPT-4, but GPT-4 did get the drop out.
ChatPDFはローカルレスポンス、ローカルレスポンスの正規化を受けず、GPT-4も受けませんでしたが、GPT-4はドロップアウトを受けたのです。
Cool.
かっこいいですね。
Let's keep going.
続けてみよう。
Got Google net.
Google netを手に入れた。
The winner of ILS VRC.
ILS VRCの勝者。
Good old inception net.
古き良きインセプションネット。
I remember that.
そういえばそうだった。
Resnet was developed with the intent of designing ultra deep networks.
Resnetは、超深層ネットワークの設計を意図して開発された。
We've actually read this Resnet paper on this stream.
実はこのResnetの論文をこの流れで読んだことがあるんです。
It's feel free to go back and dig up that stream.
そのストリームを掘り返してみるのは自由です。
But right.
しかし、そうですね。
It's this idea of having a path through the network that kind of skip, right?
この考え方は、ネットワークを通過する経路をスキップさせるというものですね。
They call them skip connections, residual connections, but very powerful idea.
スキップ接続、残留接続と呼ばれるものですが、非常に強力なアイデアです。
Densely connected networks, dense net.
密につながったネットワーク、デンスネット。
Is this capsule networks?
これはカプセル・ネットワークですか？
Yeah.
そうです。
Capsule networks.
カプセル・ネットワークです。
I remember when people thought these were going to be very, very good.
これがとても良いものになると思われていたのを覚えています。
These came out of Hinton's lab.
ヒントンの研究室から出たものです。
I'm pretty sure.
確かです。
And like he was promoting them for a while, but I think they just died off.
しばらくは宣伝していたようですが、その後、消滅してしまったようです。
Like nobody did anything.
誰も何もしなかったように。
The problem is that there was a period of time where people were innovating in the architecture space, but they weren't accounting for the fact that architectures and hardware have to fit, right?
問題は、ある時期、人々がアーキテクチャの分野でイノベーションを起こしたのですが、アーキテクチャとハードウェアは適合しなければならないという事実を考慮していなかったということです。
Like the architectures that work best on the hardware are the ones that are going to succeed, right?
ハードウェア上で最もうまく機能するアーキテクチャが、成功につながるということですね。
Conv nets.
コンバイン・ネット。
Part of the reason they were so popular is because they actually work very well with GPUs, right?
コンブネットが人気を博した理由のひとつは、実際にGPUと非常に相性が良かったからですよね？
But capsule nets do not capsule nets are very clean kind of from a hierarchy and theory perspective.
しかし、カプセルネットはそうではありません。カプセルネットは、階層や理論の観点からは非常にクリーンです。
But when you actually try to implement them in a GPU and try to get them to train fast, it just takes fucking forever.
しかし、実際にGPUに実装して高速に学習させようとすると、ものすごく時間がかかります。
So no one use them.
だから、誰も使わないのです。
I think capsule nets are potentially obscure enough that maybe a GPT four might not know.
カプセルネットは、GPTの4人が知らないかもしれないほど、潜在的に曖昧なものだと思うんです。
Let's see if it knows about it.
GPT4が知っているかどうか見てみましょう。
Can you explain capsule networks for me?
カプセルネットの説明をお願いします。
Actually you want you, let's try something crazy here in as if you were a pirate.
海賊になったつもりで、とんでもないことをやってみよう。
Let's give it like a kind of a weird style transfer here and see if it actually does it.
海賊になったつもりで、ちょっと変わったスタイルで転送して、実際に動くかどうか見てみましょう。
Let's see which ones have been nuked and which ones haven't.
どれが核攻撃され、どれがされないか見てみよう。
This is going to be great.
これはすごいことになりそうです。
Are maybe let me tell you about capsule networks, a fine piece of innovation in the land of artificial intelligence.
さて、人工知能の世界における革新的な技術であるカプセルネットワークについてお話ししましょう。
You see these capsule networks or caps nets for shorts be a new breed of old neural networks designed to better understand the spatial relationships between objects and an image.
カプセルネットワーク、略してカプセルネットは、オブジェクトと画像の間の空間的な関係をよりよく理解するために設計された、古いニューラルネットワークの新しい品種です。
Traditional CNNs be great for pattern recognition, but sometimes they struggle with maintaining the true spatial hierarchy and pose of the objects.
従来のCNNはパターン認識には優れていますが、オブジェクトの真の空間的階層やポーズを維持するのに苦労することがあります。
Our swashbuckling scientist Joffrey Hempton and his crew came up with caps nets.
そこで、私たちの剣豪科学者ジョフリー・ヘンプトンとその仲間たちが考え出したのが、キャップスネットです。
Caps nets have a unique feature called capsules.
キャップスネットには、カプセルというユニークな機能があります。
Capsules are a small group of neurons that represent different properties of an object and then the whole dynamic routing, which be like a trusty compass pointing into the right direct destination.
カプセルは、オブジェクトのさまざまな特性を表すニューロンの小さなグループであり、動的なルーティング全体は、正しい直接の目的地を指し示す信頼できるコンパスのようなものなのです。
That's kind of cool.
それは素晴らしいことです。
Okay.
なるほど。
So, it understands that the way these capsule networks, basically the part that actually is not very good at being mapped onto a CPU or onto a GPU, is this idea of dynamic routing.
つまり、このカプセル・ネットワークは、基本的にCPUやGPUにマッピングするのが苦手な部分ですが、このダイナミック・ルーティングという考え方があることを理解しているのです。
Which basically means that the path that the kind of information flows through the capsule network changes, right?
つまり、カプセルネットワーク内を流れる情報の経路が変化する、ということですね。
Because the layers at the bottom output, you could think of it like basically they're doing something similar to a similarity search, where it's like, depending on which things agree and which things don't agree, right?
下の層からの出力は、どの要素が一致し、どの要素が一致しないかによって、類似検索のようなことを行っていると考えることができます。
Like if those are pointing kind of in the same direction, then the information will get routed through them differently.
例えば、同じ方向に向いているものがあれば、その情報を経由する経路は異なるものになります。
So making the analogy of dynamic routing to a compass, that's definitely kind of impressive.
ダイナミック・ルーティングをコンパスに例えると、確かに印象的ですね。
All right.
なるほど。
Let's see if PDF GPT has better or worse impersonation of pirate skills.
PDF GPTが海賊の真似をするのが上手か下手か見てみましょう。
Ahoy matey.
ようこそ、マティー
Let me tell ye about capsule networks.
カプセル・ネットワークについて説明しよう。
Look at this.
これを見てくれ
This actually did the same exact GPT PDF or ChatPDF and PDF GPT.
これは実際に同じGPT PDFやChatPDF、PDF GPTを行ったものです。
Both of them have the same intro here.
どちらもここに同じイントロがあります。
Ahoy matey.
こんにちは、mateyです。
Let me tell ye.
教えてあげよう。
Inspired by how I, our eyes work.
私、私たちの目がどのように働くかに触発されました。
Let's see if that phrase exists.
そのフレーズが存在するかどうか見てみましょう。
Uh, encoding primary modified convolution.
えー、エンコード一次修正畳み込み。
The capsule contains the weighted sum, making it capable.
カプセルは加重和を含み、それを可能にする。
So you see it, it lost the pirate.
だから海賊を見失ったんだ。
So it started off with the pirate, but then very quickly it, now this is just kind of like standard making a capable and traditional CNNs, a single cost function.
海賊と一緒にスタートしたわけですが、その後、あっという間に、従来のCNNと同じように、単一のコスト関数で能力を高めることができるようになりました。
This just reads like the paper.
これは論文と同じように読めます。
So we weren't able to basically override the formality of its output with the style request of pirates.
だから、海賊のスタイル要求で出力の形式を上書きすることは基本的にできなかった。
Ye see specific part.
具体的な部分をご覧ください。
This also doesn't have the pirate theme to it, but here it is.
これも海賊のテーマがないのですが、ここにあります。
It ends with the pirate.
海賊で終わります。
So, it started with the pirate, and then it kind of just gives you kind of generic tech, the actual kind of formal definition, and then it ends with the pirate versus PDF GPT.
海賊から始まり、一般的な技術、実際の正式な定義、そして海賊とPDF GPTの比較で終わっていますね。
Here, it starts with the pirate and then it just kind of goes on its normal rant, and then it loses track.
一方、PDF GPTは、海賊版から始まり、普通に暴れまわっているうちに訳がわからなくなってしまいました。
It forgets that it's supposed to be talking like a pirate.
海賊のように話すということを忘れてしまうのです。
So, I don't think that necessarily, I mean, I don't know, draw the conclusion that you will out of this, but, uh, its ability to impersonate certain text styles, ChatPDF seems a little bit better than PDF GPT, and both of them suck compared to a GPT four, right?
だから、必ずしもそれを結論として引き出さなくてもいいと思いますが、テキストスタイルを模倣する能力においては、ChatPDFがPDF GPTよりも少し優れているようですし、どちらもGPT-4と比べると全然劣りますよね。
GPT four, it had like trusty compass.
GPT-4は、信頼できるコンパスを備えていました。
Like they had the pirate theme was throughout the entire, uh, paragraph.
海賊をテーマにしたような、パラグラフ全体がそうだった。
All right, let's keep going here.
よし、このまま続けよう。
Applications of CNN's, CNN's for solving the graph problem, image processing and computer vision, speech processing, CNN for medical imaging, little activations, uh, functions here.
CNNの応用例、グラフ問題を解くCNN、画像処理とコンピュータビジョン、音声処理、医療用画像処理CNN、小さな活性化関数、ええと、ここにある。
You got a little sigmoid, you got the hyperbolic.
小さなシグモイド、ハイパーボリックがある。
Here's your little relu.
ここに小さなreluがあります。
See part of the reason people use relus is also because they're just simpler.
relusを使う理由のひとつは、よりシンプルだからです。
Like the equation is easier to calculate, right?
方程式を計算するのが簡単なんですね。
It takes less computation to calculate this relu than it does to calculate something like a sigmoid or even like a galu.
シグモイドやガリューのように計算するよりも、このリルスの方が計算量が少なくて済みます。
So that's part of it too.
だから、それもあるんです。
Although I don't think that's realistically why people pick them now.
でも、現実的には、それが理由で選ばれているわけではないと思うんです。
They also pick them just because they work better.
ただ、より効果的だからという理由で選ばれることもあります。
You got your leaky relu.
リルムが漏れたんですね。
So like you see how the relu here is flat.
だから、このレルはフラットなんだ。
So anything in negative is going to return zero, but a leaky relu if it's negative and it's really big negative, it's going to return a little bit of a negative, right?
マイナスのものはゼロを返しますが、リーキーリリューはマイナスで、しかも大きなマイナスであれば、少しはマイナスを返しますよね?
This X axis here is the input and then the Y axis here is the output.
このX軸が入力で、Y軸が出力です。
So if a neuron with a leaky relu activation receives a very large negative number, it's going to return a very small negative number.
つまり、リーキーレルー活性化を持つニューロンが非常に大きなマイナスを受け取った場合、非常に小さなマイナスを返すことになるのです。
You have this LU exponential linear union is basically just a little bit lower here.
このLU指数線形結合は、基本的にここより少し低いところにあります。
So here, here's a, here's a weird one.
だから、ここ、ここ、ここが変なんです。
Parametric relu PRLU.
Parametric relu PRLUです。
This is pretty obscure.
これはかなり曖昧です。
I wonder if gbt4 probably does not know about that.
gbt4はたぶん知らないんじゃないかな。
Uh, who proposed the parametric relu and when did they propose it?
えーと、パラメトリック・リルって誰がいつ提唱したんだっけ？
Oh shit.
やばいな。
Did it get all these names right?
この名前、全部正解だったんだろうか？
Let's do kymingher parametric relu.
KYMINGHER PARAMETRIC RELUにしよう。
If it got all these names right, that's fucking insane.
もし、この名前が全部正しいのなら、正気とは思えないね。
Stop.
やめろ
Give me the paper.
論文を渡せ
Kymingher, Xiangyu Zhang, Xiangyu Zhang, Xiao Qing Ren, Jian Sun.
Kymingher, Xiangyu Zhang, Xiangyu Zhang, Xiao Qing Ren, Jian Sun.
Holy shit dude.
すげえな、おい。
Like gbt4, it got all these name rights.
Gbt4のように、これらの名前の権利をすべて持っている。
Got this right too.
この権利もあるんだ。
Like gbt4 is fucking strong.
gbt4のように、クソ強いです。
Delving into rectifiers, surpassing human level performance on ImageNet classification.
整流器を掘り下げ、ImageNetの分類で人間レベルの性能を超える。
The paper was published in 2015.
2015年に発表された論文だそうです。
Damn.
くっそー。
PRLU is a variation of the rectified linear unit where the negative part of the function has a learnable parameter instead of being fixed at zero.
PRLUはrectified linear unitのバリエーションで、関数の負の部分が0に固定されるのではなく、学習可能なパラメータを持っている。
So gbt4 very, very good.
だからgbt4とても、とても良い。
They're very correct.
とても正しいです。
Got all the names right.
すべての名前が正しい。
Got the date right.
日付も正しい。
Very impressive.
とても印象的です。
Let's see.
では、見てみましょう。
PDF gbt.
PDFのgbtです。
The parametric relu was proposed by kymingher et al in 2015.
2015年にkymingherらによって提案された「parametric relu」です。
Here you go.
ほら、これです。
Proposed by kymingher et al in 2015.
2015年にkymingher et alによって提案されました。
So this is one of those situations where PDF gbt is gbt4 right.
つまり、これはPDF gbtがgbt4が正しいという状況の1つです。
So gbt4 knows the rest of the people on this paper right.
つまりgbt4はこの論文の残りの人たちを正しく知っているわけです。
But when you ask it this question, it's kind of like overriding whatever its answer would be normally with the answer in the paper right.
しかし、この質問をすると、通常であればgbt4が答えるはずの答えを、論文に書かれている答えで上書きしてしまうようなものなのです。
So even though it knows who the other people in the paper are, it gives you the kymingher et al, which means just kymingher and students or whatever.
だから、この論文に載っている他の人たちが誰なのか知っているにもかかわらず、kymingher et al、つまり、kymingherと学生だけとか、そういう意味の答えを出すんです。
Because that's the way that it's said in this paper right.
なぜなら、この論文ではそのように書かれているからです。
So that tells you something about the PDF gbt where it's very it has a very high strength on the paper right.
ということは、PDFのgbtは、紙面上で非常に高い強度を持つということを物語っていますね。
Which is kind of makes sense when we look at the cap the pirate thing where it doesn't really use the the kind of raw power of gbt.
これは、「CAP THE PIRATE」を見てみるとわかるのですが、gbtのような生の力を使っていないんです。
It's almost more like a like lookup.
ルックアップのようなものです。
It's very good at just kind of like giving you exactly what's in the paper.
gbtは、論文に書かれていることを正確に伝えることに長けています。
And this is almost more like a search through the paper right.
これは、論文を検索するようなものですね。
And then ChatPDF kind of a similar idea right.
そして、ChatPDFも似たようなアイデアですね。
Proposed by kymingher in 2015.
2015年にkymingherによって提案されました。
Proposed by kymingher in 2015.
2015年にkymingherによって提案されました。
So there you go.
そう、これです。
It's the same the same set of tokens although at least here it kind of adds to that right.
これは同じトークンのセットですが、少なくともここでは、それに追加するようなものです。
It adds the sentence here as an improved version of the relu activation function.
ここではrelu activation functionの改良版として文章が追加されています。
Versus here it says proposed by kymingher in 2015 period it is an improved version of the relu activation function right.
それに対してここでは、2015年の期間にkymingherによって提案された、relu活性化関数の改良版である、と書かれていますね。
And the way that this PDF says it they start with that sentence an efficient improved version of the relu activation function and then they give you the date.
このPDFの書き方は、an efficient improved version of the relu activation functionという文章で始まり、その後に日付が記載されています。
So interesting how both of these gbt's here kind of have the same thing where they give you the date and then they give you the sentence before the date but in a slightly different format.
興味深いのは、この2つのPDFは、日付が書かれていて、その前に文章が書かれているという点は同じなのですが、少し形式が違うということです。
Okay.
なるほど。
Okay.
そうですね。
We're moving.
移動します。
Optimization methods.
最適化手法です。
So we got gradient SGD which is kind of the most vanilla form of gradient descent that you can get at a grad at a delta RMS prop and atom.
勾配SGDは勾配降下法の中でも最もシンプルなもので、デルタRMSプロップとアトムで得られる勾配を利用します。
There's a bunch more too.
他にもたくさんあります。
And here's another question we can ask.
ここでもう1つ質問してみましょう。
We can say what are different optimization papers.
最適化に関するさまざまな論文とはどのようなものでしょうか。
Do you think it has read the whole paper.
それは論文を全部読んでいるのでしょうか？
I don't know.
どうでしょう。
I don't like it feels like it did it too fast.
でも、あまりに速すぎるという印象はないですね。
It feels like it very quickly found it.
非常に早く見つけたという感じです。
So I don't know if it's like reading it in the background but it doesn't it doesn't feel like it had enough time to like parse everything in this PDF and then start the chat.
バックグラウンドで読んでいるのかどうかはわかりませんが、このPDFをすべて解析してチャットを開始するほどの時間があったとは思えません。
So, there's probably some kind of asynchronous stuff going on where, like, it initially just parses the first page, and then it gives you the chat, and then it keeps parsing in the background, but I'm not sure.
最初に1ページ目を解析し、チャットを表示してから、バックグラウンドで解析を続けるなど、非同期の処理が行われている可能性がありますが、確信はありません。
Yeah.
そうなんです。
So I want to see here I'm going to ask it what are different optimization methods for DL and GPT-4 is does not know this paper so it's probably not going to give us this exact set of five here right.
ここで、DLおよびGPT-4に対する異なる最適化方法について尋ねたいと思いますが、GPT-4はこの論文を知らないので、おそらくここで正確に5つのセットを提供することはないでしょう。
It's probably not going to give us SGD at a grad at a delta RMS prop and atom.
おそらく、SGDとGrad、RMSとatomのデルタを出すことはないでしょう。
It's probably going to give us an ax, probably, and actually a better answer.
おそらく、より良い答えが得られると思います。
But if we put it into these here, the two ChatPDF and PDF GPT, I bet you it's probably going to give us this exact set of five here.
しかし、もしこれを、2つのChatPDFとPDF GPTに入れたら、おそらくこの5つのセットを正確に教えてくれるに違いない。
Yeah.
そうです。
So ChatPDF does deep stochastic gradient descent SGD at a grad at a delta RMS prop and atom which is these exact five and in that exact order PDF GPT Oh interesting.
ChatPDFは、デルタRMSプロップとアトムで、深い確率的勾配降下SGDを行い、この5つの正確な順番で、PDF GPTは、興味深いです。
You see this didn't give us that at all.
これでは全くわからないですよね。
So PDF GPT here is just going on like kind of a weird generic rant here.
つまり、PDF GPTは、ここで奇妙な一般的な暴言を吐いているようなものです。
Key difference.
主な違いは？
There are different optimization methods for DL.
DLには異なる最適化手法があります。
DL is employed where machine learning.
DLは、機械学習が採用されています。
Okay.
なるほど。
The references it gives our page 3 5 and then 29 and this one gives page 18.
参考文献は3ページ目5ページ目29ページ目そしてこの文献は18ページ目です
Okay.
なるほど。
So this is kind of interesting something that what this is telling me is that ChatPDF has a much more has a higher threshold for the similarity lookup right.
これは興味深いことです。つまり、ChatPDFは類似性検索の閾値が高いということです。
I don't know exactly how it's implemented, so I'm making a guess here, but at some point, it's measuring the similarity of your question to the text in the PDF, right?
どのように実装されているのか正確には知らないので推測ですが、ある時点で、質問とPDF内のテキストの類似性を測定しているのですね。
And obviously, different optimization methods for DL.
そして、明らかにDLの最適化方法が異なる。
This exact set of tokens is right here.
この正確なトークンのセットはここにあります。
Different optimization methods right.
最適化方法が違うんですね。
So, ChatPDF found the part in the text that has the highest kind of similarity, that has that exact set of words, right?
で、ChatPDFは、そのテキストの中で、最も高い類似性を持つ部分、つまり、その正確な単語セットを持つ部分を見つけましたね？
And it says page 18.
そして18ページと書いてあります。
But PDF GPT, it gave us page 3 and page 5, which to me means that the lookup, the similarity threshold, is like lower, right?
しかし、PDF GPTでは、3ページと5ページが表示されました。これは、ルックアップ、つまり類似性の閾値が低いということですね？
It basically said okay as soon as I find something that's kind of similar to this right I'm just going to stop and then craft my answer based around that.
つまり、「これと似たようなものを見つけたら、すぐにやめて、それに基づいて答えを作る」ということです。
So that's kind of my guess as to why PDF GPT gave us a summary of something based on page 3 versus ChatPDF gave us a the one sentence answer that we were looking for specifically from page 18 right.
PDF GPTがページ3に基づく要約を提供した理由として、私の推測では、ChatPDFがページ18から具体的に探していた1文の回答を提供したのと同様です。
So there's maybe something there with where do you start the search from the top of the PDF for the bottom of the PDF.
つまり、PDFの上から下まで、どこから検索を開始するのか、そこに何かあるのかもしれません。
Do you search the entire PDF and then find the thing that matches the most, or do you start searching and then stop as soon as you find something that's within a certain type of similarity of what you actually want?
PDF全体を検索して最も一致するものを見つけるのか、それとも検索を開始して、ある種の類似性が求めるものと一致するとすぐに停止するのかどちらでしょうか？
Let's see what GPT for gives us so GPT for gives us gradient descent SGD mini batch gradient descent momentum Nesterov accelerated gradient at a grad RMS prop atom atomax and atom AMS grad.
GPT forの結果を見てみましょう。GPT forの結果、勾配降下SGDミニバッチ勾配降下運動量Nesterov加速勾配勾配RMS prop atom atomax and atom AMS gradが得られました。
So this is actually the best answer right.
というわけで、実はこれがベストアンサーなのです。
So GPT for not only gives us every single one of these but it also gives us more of them right.
つまり、GPTはこれらすべてを提供してくれるだけでなく、より多くのものを提供してくれるのです。
So I don't kind of what I'm learning here is that if you want to learn things GPT for is better than these PDF specific ones right.
つまり、GPT forは、PDFのような特殊なものよりも、いろいろなことを学びたい場合に適しているということです。
Here, you have gated recurrent units and LSTM.
ここで、ゲーテッドリカレントユニットとLSTMを紹介します。
These used to be very popular for sequence tasks, specifically in the natural language processing, but they've kind of been thrown away now for transformers.
これらは以前はシーケンスタスク、特に自然言語処理で非常に人気がありましたが、今はトランスフォーマーに取って代わられたようなものです。
Transformers are just better.
トランスフォーマーの方が優れているのです。
I think they still use them in certain situations.
しかし、ある種の状況ではまだ使われているようです。
I think, like some robotics use cases, still have recurrent neural networks and like sometimes you'll see video models that have the ideas of recurrent neural networks in them.
ロボット工学のユースケースのように、リカレント・ニューラル・ネットワークは今でも使われていますし、リカレント・ニューラル・ネットワークのアイデアを取り入れたビデオモデルもたまに見かけますね。
But I would say, largely, LSTMs and GRU user grooves, or whatever you want to call them, are dead.
しかし、LSTMやGRUのユーザーグルーブ、あるいはそれらを何と呼ぶかは別として、LSTMやGRUはほとんど死滅したと言ってよいでしょう。
Variational auto encoders where we at what's going on here.
変分オートエンコーダー（Variational Auto Encoder）は、ここで何が起こっているのか、私たちは考えています。
KL divergence of latent which determines how closely the latent variable is in match with the unit Gaussian distribution.
潜在のKLダイバージェンスは、潜在変数が単位ガウス分布にどれだけ近いかを判断するものです。
You want the latent distribution to match a different type of distribution, and if you want two distributions to be the same, you use the KL divergence as the loss or at least as a component in the loss.
潜在的な分布を異なるタイプの分布に合わせたい場合や、2つの分布を同じにしたい場合、KLダイバージェンスを損失関数や損失関数の要素として使用します。
This is what some of the first GANs look like right like you think about mid journey and then realize that this is where it started.
これが、最初のGANのいくつかの姿であり、中間の旅について考えた後、ここが始まりの場所であることに気づくのです。
This is what it used to look like just look how bad this looks.
昔はこんな感じだったんだ......これじゃダメだ。
And for medical imaging deep reinforcement learning.
そして、医療用画像処理では、深層強化学習（deep reinforcement learning）を採用しています。
So, deep reinforcement learning is reinforcement learning, but where the value function and the policy are approximated with deep neural networks, which are basically universal function approximators.
ディープ強化学習とは、強化学習の一種であり、価値関数やポリシーがディープニューラルネットワーク（基本的には万能関数近似器）で近似されるものです。
So, because reinforcement learning, believe it or not, actually has a very long history, and there was people that were doing reinforcement learning before you had deep neural networks as function approximators.
信じられないかもしれませんが、強化学習には非常に長い歴史があり、関数近似としてのディープニューラルネットワークが登場する前から、強化学習を行っている人々がいました。
They literally have like tables, right?
彼らは文字通りテーブルのようなものを持っていましたね。
They would have a table where every single state that the system has run into is evaluated, and the value function is literally a table, which is weird to think about.
システムが遭遇したすべての状態が評価されるテーブルを持っていて、価値関数は文字通りテーブルなんです。
I think that's how they solved backgammon which is kind of like a weird form of chess.
チェスの変な形みたいなものですが、バックギャモンもそうやって解いたんでしょうね。
Partially observable Markov decision problems POMDP.
部分的に観測可能なマルコフ決定問題POMDP。
Fuzzy RL what the fuck is that?
ファジィRL......なんだそれ？
Myths about deep learning.
ディープラーニングの神話
So this is kind of explaining how to do transfer learning right so you take a large network for it's been trained on image net then you just fine tune it on your specific problem.
これは転移学習の方法を説明するもので、画像ネットで訓練された大規模なネットワークを、特定の問題で微調整するものです。
Hardware for deep learning.
ディープラーニングのためのハードウェア。
The tensor processing unit.
テンソル・プロセッシング・ユニットです。
I think the TPUv4 came out recently right?
最近、TPUv4が発表されましたね。
Optically reconfigurable super computer.
光学的に再構成可能なスーパーコンピュータです。
Here's a bunch of...
ここにあるのは、たくさんの...
What if we ask it something very...
もし、これを非常に...
Let's ask it something like extremely niche here.
ここでは、極めてニッチなことを聞いてみよう。
What is a link to the...
へのリンクはどうなっていますか？
Can you provide a link to the Stanford question answering data set?
スタンフォードの質問応答データセットへのリンクを教えてください。
SQUAD.
SQUAD.
Alright so I mean there's no way GPT-4 is going to know that right?
GPT-4がそれを知っているわけがありませんよね？
That's like extremely obscure and it's like specifically this.
それは極めて不明瞭で、具体的にはこんな感じです。
I'm looking for the Rajpurkargithub.io so I'm going to put that in there and I'm going to ask all of these.
Rajpurkargithub.ioを探してるので、それを入れて、これら全部に質問してみます。
Let's see what they say.
どんな答えが返ってくるか見てみましょう。
Okay so PDF GPT gets it pretty much spot on.
さて、PDF GPTはかなり的を得ていますね。
Here you go.
さあ、どうぞ。
Can be accessed through the following link.
以下のリンクからアクセスできます。
Rajpurkargithub.ioです。
Rajpurkargithub.io so I got the link right.
Rajpurkargithub.ioということで、ちゃんとリンクが貼られていました。
ChatPDF also got the link right.
ChatPDFもちゃんとリンクしてましたよ。
Found it instantly here.
ここで即座に見つかりました。
Rajpurkargithub.io so that's good.
Rajpurkargithub.ioなので、これでよしとします。
Now let's get old GPT-4.
さて、次はGPT-4です。
Holy shit dude what the fuck?
すげーな、なんだこれ？
How does it know that?
なんでそんなことがわかるんだ？
That is insane.
正気とは思えません。
Damn okay so I mean obviously when I saw these two PDF little bots get it I'm like of course it is.
この2つのPDFの小さなボットが取得するのを見たとき、もちろんそうだろうと思いました。
It's like just one of these random links down here it like finds the similarity.
この下にあるランダムなリンクの1つで、類似性を見つけているようなものなんだ。
This is kind of a unique set of tokens here and it gets it but the fact that GPT-4 knows it.
これはユニークなトークンのセットで、それを理解するのですが、GPT-4はそれを知っているということです。
That's insane.
正気とは思えませんね。
Alright so maybe the title of this video should be like don't ever bother using this.
このビデオのタイトルは、「これをわざわざ使う必要はない」と言うべきかもしれませんね。
The PDF readers just literally ask GPT-4 and GPT-4 is going to know and you don't need to do that.
PDFリーダーはGPT-4に尋ねるだけで、GPT-4は知っているので、そんなことをする必要はない。
Which maybe is a commentary on kind of this idea of task specific intelligence.
これは、タスクスペシフィックインテリジェンスという考え方に対するコメントかもしれません。
I feel like for the past 50 years task specific intelligence has always beat general intelligence.
過去50年間、タスクに特化した知能は、常に一般的な知能に勝ってきたように思います。
If you had a machine learning model that was trained on a variety of different tasks it would always be beat by machine learning models trained on each of those tasks specifically.
さまざまなタスクに対応した機械学習モデルがあれば、それぞれのタスクに特化して学習させた機械学習モデルに必ず負けていました。
But that's no longer the case and more and more and more you're seeing that the general AIs are better than the task specific AIs.
しかし、もはやそのようなことはなく、ますます一般的なAIがタスクに特化したAIよりも優れていることが分かってきています。
And that has huge repercussions for kind of the world and the market.
このことは、世界や市場に大きな影響を与えることになります。
What's the point of creating a PDF-specific AI tool, where you can give it a PDF and it allows you to answer questions on it, if GPT-4 itself can just answer those questions for you without ever having to read this PDF?
PDF専用のAIツールを作成して、PDFを与えるとそのPDFに関する質問に答えることができるようにする意味は何でしょうか？もしGPT-4自体が、そのPDFを読まなくても質問に答えられるのであればです。
Right?
そうでしょう？
Like what's the point of PDFGPT.io and this like product that's based around a specific PDF if GPT-4 just answers these questions for you perfectly.
GPT-4が質問に完璧に答えてくれるなら、PDFGPT.ioや特定のPDFに基づいたこのような製品の意義は何なのでしょう？
That's fucking crazy.
そんなのおかしいよ。
Okay.
そうですね。
So we're going to do so right now we've been kind of exploring deep learning.
では、ディープラーニングを探求してみましょう。
I'm going to try something new here.
ここで新しいことをやってみようと思います。
I'm going to do a new chat.
新しいチャットをしようと思います。
And I have a second paper here that I picked, and this is a paper on history, like kind of like this weird computational archaeology paper that actually comes from the Discord for the Scroll Prize, believe it or not.
そして、私が選んだ2つ目の論文は、歴史に関する論文で、実際にはスクロール賞のDiscordから来た、ちょっと変わった計算考古学の論文です。
Somebody recommended it there which is pretty cool.
誰かが推薦してくれたのですが、とてもクールです。
But this stuff is obscure right like this is like some next level obscure stuff.
しかし、このようなものは無名のものであり、次のレベルの無名のものです。
So I'm curious to see what happens.
だから、何が起こるか興味があるんだ。
New PDF and new chat.
新しいPDFと新しいチャット。
We're going to upload this one because this one is extremely obscure and we're going to see if GPT can get this obscure one.
これは非常に無名なので、GPTがこの無名なものを手に入れられるかどうか、アップロードするつもりです。
Okay.
そうですか。
Okay.
よし
Exploring ancient architecture blah blah blah.
古代建築の探求...............................。
Okay.
なるほど。
So let's scroll here and let's ask it something like fucking crazy obscure here.
では、ここをスクロールして、「クソ無名」みたいな感じで聞いてみましょう。
Figure nine is an example of photogrammetry test case in near identical circumstances.
図9は、ほぼ同じ状況での写真測量のテストケースの例です。
See let's find something weird here.
ここで何か変なものを見つけてみましょう。
Here we go.
さあ、やってみましょう。
All right.
よし、いいぞ。
Here's something fucking obscure.
ここにクソ不透明なものがある。
The majority of the Echelars were modeled from field notes of J.P. Protson who conducted his fieldwork over a number of visits in the mid 1990s.
エシェルの大部分は、1990年代半ばに何度も訪れてフィールドワークを行ったJ.P.プロトソンのフィールドノートからモデル化されたものです。
The field notes from Leonce Angl and Max Oehl in 1893.
1893年のレオンセ・アングルとマックス・オエールのフィールドノートです。
Okay.
なるほど。
Who and when were the original field notes for Tiwanaku in Bolivia.
ボリビアのティワナクのフィールドノートの原型は、いつ、誰が記録したのか。
Who and when recorded the original field notes for what are they called in blocks?
ブロックで言うと何というのでしょうか。誰が、いつ、オリジナルのフィールドノートを記録したのでしょうか。
Echelars in Tiwanaku in Bolivia.
ボリビアのティワナクにあるエシェラです。
Okay.
なるほど。
If ChatGPT gets this.
ChatGPTがこれを手に入れたら。
I don't know what I'm going to do.
どうしたらいいんだろう。
I'm going to have to leave this house.
この家を出なければならなくなる
Okay.
そうか
So put it in there.
だから、そこに入れてください。
Okay.
わかった
So ChatPDF according to page nine, the original field notes were recorded by J.P. Protson in the mid 1990s.
ChatPDF9ページによると、オリジナルのフィールドノートは1990年代半ばにJ.P.プロトソンが記録したものだそうです。
Okay.
なるほど。
So it's getting, it's finding it.
だから、それを見つけているんだ。
This is page eight or whatever.
これは8ページ目か何かです。
Leonce Angl in 1848.
1848年のレオンセ・アングル。
That's also correct.
これも正しい。
And then Max Oehl 1893.
それからマックス・オーエル 1893年
Okay.
なるほど。
Boom.
ブームだ
Chat PDF got it pretty good.
ChatPDFはかなりいい感じです。
Let's see PDF GPT.
PDF GPTを見てみよう。
It died.
死んじゃった。
What the fuck is this?
なんだこりゃ？
Go search for me.
探してこい
What?
何？
New PDF.
新しいPDFです。
Did it just die?
死んじゃったのか？
Okay.
そうか
Okay.
そうなんだ。
So it looks like this thing just died, which is no good because it had the very good little UI.
というわけで、これはただ死んでしまったようです。非常に良い小さなUIを持っていたので、これはダメですね。
So, I mean, I liked the UI for this one, but the fact that we just caused it to air out is no good.
つまり、私はこのUIが好きだったのですが、私たちがこのUIを消滅させたという事実は、良いことではありません。
So, so far chat, ChatPDF kind of giving us the right thing.
今のところ、チャット、チャットのPDFは、正しいことを教えてくれているようです。
So here moment of truth, guys, let's see if ChatGPT got it.
さて、いよいよ正念場、ChatGPTのお手並み拝見です。
Oh shit.
やばいな
Bolivian German archaeologist Mac Oehl in 19, 1895.
ボリビアのドイツ人考古学者マック・オーエル1895年19日。
Max Oehl 1893.
マックス・オーエル 1893年
Very, very close.
とても、とても近い。
Like disgustingly close.
嫌になるほど近い
1960s and seventies further investigated by Arthur Pronanski and Karls Pons Sanguiness.
1960年代と70年代に アーサー・プロナンスキーと カールス・ポンスによって調査される
Okay.
なるほど。
So it didn't get Leonce Angron, didn't get JP Protzen, but it did get Max Hula and it did get the date, which is pretty impressive, right?
レオンス・アングロンも JPプロッツェンもダメだった でもマックス・フラと日付はわかった これはかなり印象的でしょう？
Because realize that GPT-4 does not have this PDF.
GPT-4はこのPDFを持っていませんから。
It is just knowing this from memory.
これは記憶で知っているだけなのです。
Let's give PDF GPT one more try here.
ここでもう一度、PDF GPTに挑戦してみましょう。
Let's upload the file again.
もう一度、ファイルをアップロードしてみましょう。
Hard refresh.
ハードリフレッシュです。
Let it output its little thing.
ちょっと出力させてみる。
Still, still no good.
それでも、やはりダメです。
All right.
よし。
We might've killed PDF GPT.
PDF GPTを破壊したのかもしれない。
It might be dead.
もうダメかもしれない。
Let's try to find one more kind of obscure thing here.
ここでもう1つ、よくわからないものを探してみましょう。
We use two basic forms of printing filament or polymer.
フィラメントやポリマーの印刷には、2つの基本的な形態があります。
Part is printed layer by layer.
部品は層ごとに印刷されます。
So how about this?
では、これはどうでしょう？
A ZCorp Z310 rapid prototyping printer.
ZCorpのラピッドプロトタイピングプリンターZ310です。
Let's see.
見てみましょう。
What is a ZCorp Z310?
ZCorp Z310って何？
And then let's come here.
そして、こちらにも来てみましょう。
What is a ZCorp Z310?
ZCorp Z310とは？
And then what is a ZCorp Z310?
そして、ZCorp Z310とは何なのか。
According to page 12, ZCorp Z310 is a rapid prototyping printer that uses powder-based printing technology, powder-based printing.
12ページによると、ZCorp Z310は、パウダーベースの印刷技術、パウダーベースプリンティングを使用したラピッドプロトタイピングプリンターだそうです。
Okay.
なるほど、そうなんですね。
That's correct.
その通りです。
Similar to an inkjet, but instead of ink, it lays down layers in the same way as an inkjet printer.
インクジェットと似ていますが、インクの代わりに、インクジェットプリンターと同じように層を重ねます。
Powder material also acts as the support structure.
パウダー素材は支持体としての役割も果たします。
Since powder print is in a matrix, the powder acts as the support structure.
パウダープリントはマトリックス状になっているので、パウダーが支持体の役割を果たすのです。
Okay.
なるほど。
So ChatPDF basically gave us this paragraph here, and then it kind of selected a couple different parts of it.
それで、ChatPDFは基本的にこの段落を提供し、その中からいくつかの異なる部分を選択するような形になっています。
See PDF GPT.
PDF GPTを参照してください。
The ZCorp Z310 is a type of powder-based 3D printer that was used in the process of creating 3D models of the Andesite building.
ZCorp Z310は、アンデサイトビルの3Dモデルを作成するプロセスで使用された、パウダーベースの3Dプリンタの一種である。
Laying down a layer of plastic powder into a print bed and then depositing a printing agent.
プリントベッドにプラスチックパウダーを敷き詰めて、印刷剤を堆積させる。
Lay down into the print bed.
プリントベッドに敷き詰める。
There you go.
ほら、これです。
You're finding these same little sequences, right?
同じような小さな配列が見つかっていますね？
Depositing a binding agent.
結合剤を堆積させる。
I bet you that's probably somewhere over here.
きっとこの辺にあるんでしょうね。
Deposits the binding agent.
結合剤を入れる。
There you go.
そうです。
I like the succinctness of ChatPDF.
チャットのPDFは簡潔でいいですね。
Usually if I'm asking questions about a PDF, I want it to just kind of answer.
通常、PDFについて質問する場合、ただ単に答えてほしいのです。
And then of course, of course guys, GPT-4, it knows.
そして、もちろん、GPT-4は知っています。
It doesn't need your PDF.
あなたのPDFは必要ないんです。
It doesn't need knowledge.
知識は必要ありません。
It already knows everything.
すでにすべてを知っているのです。
Look at this.
これを見てください。
The ZCorp Z310, also known as the ZPrinter 310, is a 3D printer manufactured by ZCorp, a company that was acquired by 3D Systems in 2012.
ZCorp Z310、別名ZPrinter 310はZCorp社製の3Dプリンターで、2012年に3Dシステムズに買収された会社です。
Let's just double check that.
再確認しておこう。
ZCorp, not ZCrop, ZCorp.
ZCropではなく、ZCorp。
Acquired by 3D Systems on 2012.
2012年に3D Systems社に買収された。
Printer works by separating, spreading a layer of powder material onto the build platform.
プリンターは分離して、ビルドプラットフォームに粉末材料の層を広げることで動作します。
Printful color.
プリントフルカラー。
God damn.
すげえな
Like GPT-4 knows about printers from like the 80s.
GPT-4は80年代のプリンターを知っているようだ。
Shit.
くそ
Maybe it's not the 80s.
80年代じゃないかも
This is like a 2000, sorry.
これは2000年の話だ
On what data is GPT-4 actually trained?
GPT-4はどんなデータで訓練されてるんだ？
Well, we don't know.
それはわからない
OpenAI won't tell us, but we do know we can make some educated guesses.
OpenAIは教えてくれません。でも、推測は可能です。
I think it's probably trained on Wikipedia.
おそらくウィキペディアで学習しているのでしょう。
It's probably trained on Creative Commons license or something like that.
クリエイティブ・コモンズ・ライセンスのようなもので学習しているのでしょう。
Creative Commons.
クリエイティブ・コモンズ。
It's probably trained on every single book that is old enough to where nobody can sue you.
おそらく、誰もあなたを訴えることができないほど十分に古いすべての本で訓練されているのでしょう。
But at some point there's going to kind of be not enough training data.
しかし、ある時点で学習データが足りなくなることがあります。
Right now you're seeing all these companies kind of competing to get the training data.
今、各社がトレーニングデータの獲得にしのぎを削っています。
And even some things like, for example, Quora, I think is Quora, Reddit, Twitter, Facebook, Google.
例えば、Quora、Reddit、Twitter、Facebook、Googleなどがそうですね。
Like those are all companies that have big data sets that OpenAI can't train on.
これらはすべて、OpenAIがトレーニングできないような大きなデータセットを持っている企業です。
OpenAI can't train on every single picture in Facebook, every single piece of text and every single piece of information that someone put on Facebook.
OpenAIは、Facebookの写真やテキスト、誰かがFacebookに載せた情報の一つひとつをトレーニングすることはできません。
But Facebook can.
しかし、Facebookはそれが可能です。
OpenAI can't train on every single tweet ever written, but Twitter can.
OpenAIはこれまで書かれたすべてのツイートをトレーニングすることはできませんが、Twitterはできます。
So I think you're going to see different GPTs or basically LLMs trained on different types of proprietary data.
ですから、さまざまなGPTやLLMが、さまざまな種類の独自データで学習することになると思います。
But kind of what we're learning here is that the GPT that's trained on as the most data actually performs the best.
しかし、ここで学んだことは、最も多くのデータで訓練されたGPTが、実際には最も良い結果を出すということです。
And like these kind of ones that are specific to this PDF and filter things in the PDF, not as good as just the vanilla GPT-4.
例えば、このPDFに特化したもの、PDFの中のものをフィルタリングするようなものは、通常のGPT-4ほど優れてはいません。
Effort to advance.
前進するための努力
Virtual reconstruction of the building.
建物を仮想的に再現。
What is andesite by the way?
ところで安山岩ってなんですか？
Like what the fuck is that?
なんじゃこりゃみたいな。
Andesite?
安山岩？
Is that some kind of stone?
石ころの一種か？
A type of volcanic rock of intermediate composition.
火山岩の一種で、中間の組成を持つ。
Silica-poor basalt and silica-rich rhyolite.
シリカに乏しい玄武岩とシリカに富む流紋岩からなる。
Okay, here.
よし、これだ
I got one that's potentially...
この石は...
Potentially not going to be getting by chat 50.
チャット50に間に合わない可能性がある。
We're going to say what university houses the school of art and architecture as well as the Young Research Library.
美術・建築学部とヤング・リサーチ・ライブラリーがあるのはどこの大学でしょう。
American companies don't have data privacy rules either.
アメリカ企業にもデータプライバシーに関するルールはありません。
I think Chinese companies have the advantage because WeChat, for example, has both financial data and text data.
例えばWeChatは財務データとテキストデータの両方を持っているので、中国企業が優位に立つと思います。
So like WeChat is a weird combination of like multiple apps, right?
WeChatは、複数のアプリを組み合わせたような奇妙なものですよね？
Like it's kind of like the Facebook and the finance at the same time.
Facebookと金融を同時に利用するようなものです。
So that particular combination makes it kind of unique and powerful.
このような特殊な組み合わせが、WeChatをユニークでパワフルなものにしています。
And then they also just have, China just has more people so they have more data.
また、中国は人口が多いので、より多くのデータを持っています。
But I've also heard stories that apparently the data in China is not as clean or something like that.
しかし、中国のデータはあまりクリーンではない、という話も聞いたことがあります。
Like someone was trying to tell me that it's like more consistent so it's actually difficult to...
ある人は、「中国のデータは一貫しているので、実際には難しい...」と私に伝えようとしていました。
You don't get the variety that you get in kind of the English internet.
英語のインターネットにあるような多様性はありません。
But I don't know, I suspect that the Chinese LLMs will be very strong as well.
しかし、私は、中国のLLMは同様に非常に強力であろうと思います。
Okay, so ChatPDF.
さて、それではPDFをご覧ください。
PDF does not contain information about which university.
PDFには、どこの大学かという情報は入っていません。
However, a quick internet search reveals that these facilities...
しかし、インターネットで検索してみると、これらの施設は...。
What?
えー？
Does this have tool former capabilities?
これってツールフォーマーの機能があるんですか？
There's no fucking way.
んなわけねーだろ。
Can you search the internet?
ネットで検索できるのか？
Are you a tool former?
お前、ツールフォーマーか？
Damn, I did not know that.
くっそー、知らんかった。
Chat PDF, kind of impressive if you can search the internet.
ChatPDF、ネット検索できるならちょっとすごいな。
Ooh, look at that.
おお、見てみろ。
Nice.
いいねぇ。
Page two of 20 and then page 19.
20ページの2番目、そして19ページ。
Okay, so kind of interesting there.
なるほど、ちょっと面白いですね。
Chat PDF did not find this information, but PDF GPT did find this information.
ChatPDFはこの情報を見つけられませんでしたが、PDF GPTはこの情報を見つけられました。
I think part of it is because the way that I wrote this question was a little bit unusual, right?
この質問の書き方がちょっと特殊だったからだと思うんですが、どうでしょう？
School of Art and Architecture and then Young Research Library.
美術大学・建築学部、そしてヤングリサーチライブラリー。
Those two, these two are perfect kind of token sequences that you could search with similarity, but they're interrupted by this stuff here.
この2つは、類似性で検索できる完璧なトークンシーケンスなのですが、ここにあるもので中断されているんです。
So, maybe the way that ChatPDF kind of creates tokens for this or creates some kind of vector that it then uses to do similarity searching, it's like doing it for entire paragraphs or something like that.
ChatPDFがこれに対してトークンを生成したり、類似検索を行うために使用するベクトルを生成する方法は、まるで全体の段落に対して行っているかのようです。
But let's ask it the question here.
しかし、ここで質問してみましょう。
Let's see what it has to say about that.
それについてどう答えるか見てみましょう。
No, I cannot search the internet.
いいえ、私はインターネットを検索することはできません。
Finally, let's answer.
いよいよ答えよう。
Let's ask her a good old GPT for sure.
間違いないGPTに聞いてみよう。
GPT-4 of course knows.
GPT-4はもちろん知っている。
See, to me, this is like, this is just interesting.
ほら、私にとっては、これはこれで、面白いんですよ。
Like GPT-4 just knows everything.
GPT-4は何でも知っているんだ。
You know, I've kind of like reevaluated.
私、ちょっと見直したんですよ。
I've like been thinking deeply about what it even means to read papers anymore, right?
論文を読むことの意味を深く考えてみたんだ。
Think about it.
考えてみてください。
We just fed it like two different papers here, like Deep Learning, this weird archeology paper, and it knows all these questions.
ディープラーニングと考古学の論文のように、2つの異なる論文を読み込ませただけなのに、すべての疑問を解決してしまうんだ。
And it's starting to get to the point where if this is GPT-4, right, and you have GPT-5 and then 6 and then 7 and then 8, what's the point of reading papers, right?
そして、これがGPT-4で、GPT-5、6、7、8と続くとしたら、論文を読む意味はあるのだろうか、というところまで来始めている。
Like is there, is it going to be actually stupid to read papers?
論文を読むのが実はバカらしくなってくるような？
And if you want to learn about something, you just ask GPT-4 or GPT-5 or GPT-6.
何か知りたいことがあれば、GPT-4やGPT-5やGPT-6に聞けばいいわけだし。
I feel like we're starting to get to that point, right, where it's like reading books will be replaced by just asking GPT about these books.
本を読むことが、その本についてGPTに聞くことに取って代わられるような、そんな地点に行き始めているような気がするんです。
Reading papers will be asked by just, will be replaced by just asking GPT about these papers, right?
論文を読むのも、その論文についてGPTに聞くだけで、置き換えられるでしょう？
And then what happens to papers when they're no longer being read by humans, right?
そして、人間が読まなくなった時、論文はどうなるのでしょうか？
Like what happens to Deep Learning and the machine learning community kind of like paper format and like these type of papers where you have abstracts and then you have things like that.
例えば、ディープラーニングや機械学習のコミュニティでは、論文の形式やこの種の論文には抄録があり、そのようなものがあります。
Like does the format change when nobody actually reads these papers, like actually reads them and everybody's just reading them with GPT-4, right?
実際に論文を読む人がいなくなり、みんながGPT-4で読むようになったら、形式は変わるのでしょうか。
Do you change your paper format such that it's more consumable by GPTs and LLMs, right?
GPTやLLMがもっと読みやすいように論文の形式を変えるのでしょうか？
The similar kind of thing is happening in software where people are starting to ask themselves the questions.
同じようなことがソフトウェアでも起こっていて、人々は自問自答を始めています。
Yeah, but like, for example, in software world, people are starting to ask themselves the question, should we design our API such that it's easy for a human to use or easy for an LLM to use?
例えば、ソフトウェアの世界では、人間が使いやすいようにAPIを設計するべきか、それともLLMが使いやすいようにAPIを設計するべきか、という疑問を持つようになってきています。
Right?
という疑問を持つようになりました。
And that's not a stupid question.
これはバカげた質問ではありません。
That's a real question.
これは本当の質問です。
It's like, hey, how can we design the names of the functions, the name of the keyword arguments, the names of kind of the responses for our API, such that it's easy for an LLM to understand, and it doesn't get confused, and it doesn't use a ton of tokens and so on, right?
それは、LLMが理解しやすく、混乱しないように、また、たくさんのトークンを使わないように、APIの機能の名前やキーワード引数の名前、レスポンスの種類の名前をどのように設計するか、ということですね。
Versus how do you design an API for humans?
では、人間のためのAPIはどのように設計するのでしょうか？
Human readability is a big part of it, right?
人間の読みやすさは、その大きな部分を占めていますよね。
So I don't know.
だから、どうなんでしょう。
I feel like we're on that curve, guys.
私たちは今、その曲線の上にいるような気がします。
We're like literally the exponential curve of the singularity and we're on it.
文字通り、シンギュラリティの指数関数的なカーブを描いていて、その上にいるような気がする。
And I don't know, just crazy time.
そして、よく分からないが、ただただクレイジーな時間だ。
So maybe I'll end it here a little bit over an hour, but the TLDR that I have for you guys is that neither of these PDF tools are better than GPT-4.
というわけで、1時間ちょっとで終わりますが、結論から言うと、どちらのPDFツールもGPT-4より優れてはいません。
GPT-4 seems to be the king.
GPT-4は王者であるように思えます。
Both of these tools, kind of similar.
この2つのツールは、似ていますね。
Chat PDF didn't error out.
ChatPDFはエラーにならない。
It provides a little bit more succinct.
ChatPDFはエラーにならず、もう少し簡潔な表現が可能です。
It doesn't error out, provides a little bit more succinct answers and sometimes it doesn't get the right answer.
エラーにならず、もう少し簡潔な答えを提供し、時には正しい答えが得られないこともあります。
PDF GPT, I think, has a better UI because you can see the PDF at the same size.
PDF GPTは、同じサイズでPDFを見ることができるので、より良いUIになっていると思います。
It also has these references where you can click and it'll take you to that page.
また、クリックするとそのページが表示されるリファレンスもあります。
So a slightly better UI.
だから、UIは少し優れています。
It's a little bit a little bit wordy sometimes.
ただ、ちょっと言葉足らずなところがあります。
So like sometimes it gives you a little bit too much information versus like ChatPDF kind of makes sure to summarize it very clean.
ChatPDFのようにきれいにまとめてくれるのに対して、少し情報が多すぎることがあります。
And sometimes it just straight up errors out.
そして、時にはそのままエラーになることもあります。
So like right here, we were trying to ask it a question.
例えば、ここで質問しようとしたのですが、エラーになってしまいました。
It just kept erroring out.
エラーになっちゃうんです。
So that's the review, guys.
というわけで、レビューです。
Don't use ChatPDF, don't use PDF GPT, just use GPT-4.
ChatPDFやPDF GPTは使わないで、GPT-4を使うようにしましょう。
Hope you guys have a good weekend.
良い週末をお過ごしください。
Hope that was interesting and or useful.
それが興味深く、あるいは有用であることを願う。
And feel free to drop on the Discord to recommend more content and what you guys want to see.
また、Discordに気軽に参加して、より多くのコンテンツや見たいものを勧めてください。
Like and subscribe and see you guys later.
いいね！」と「購読」して、また会いましょう。
この記事が気に入ったらサポートをしてみませんか？