![見出し画像](https://assets.st-note.com/production/uploads/images/127830450/rectangle_large_type_2_f14cd4fb5822b9902049430901d65d74.png?width=1200)
ChatGPTに関する私の勘違い三選: GPT-4のトークン制限、モデルの選択
最近、勘違いに気づいたこと:その1
ChatGPT plus plan,team planの「GPT4モード」では、32kトークンまでしか使えない(公表事実)
GPT4Turboは、128kが上限だから、なんか128kまで使えるイメージを持っていました…
要はmodelはGPT4Turbo128kを使っていても。ChatGPTアプリで32kまでの制限があるということ。ちなみにChatGPT Enterpriseは128kと明記されている。https://openai.com/chatgpt/pricing
補足:
・実装は、AssitantAPIで32kコンテキスト制限は出来ないから、ChatGPTアプリ専用のコンテキスト制限機能があるのでしょう。
・そして、Claude2では100k使える。Claude2.1なら200k。いまだ長文はClaudeの強みか。
ざっくり検証:
1.22k文字投入:アリスについての文章
2. 6k文字投入:ベイトソンについての文章
3.17k文字投入:ニーチェについての文章
4. 9k文字投入:プラトンについての文章
5.議論した文章を全部上げて
GPT>ニーチェ、プラトンだけだよ
日本語で26k文字はOK。32k文字はNGだった。トークン数的には、おそらく32kを超えるのだろう。
最近、勘違いに気づいたこと:その2
ChatGPTの「GPT4モード」はつねにGPT4-Turboを使っているわけではない(推測)
おそらく利用するGPTのモデルは、AssitantAPI等で毎回選択していると予想。
AssitantAPIでは、複数のAssitant毎にGPTのモデルを設定し、それをひとつのThreadに対してメッセージ単位で適用(run)できる。要は、一つの会話履歴で、以下のようにGPT4のモデルが混在しているということ。
User>
Assitant(GPT4Turbo)>
User>
Assitant(GPT4TurboVison)>
User>
Assitant(GPT4-32k)
補足:
・候補はGPT4-TurboとGPT4-TurboVisonとGPT4-32k。
・仕組みは、Tools(bing,codeintepreter,actions)を選択するのと同じようなもの(GPT4にどれを使ったらいいか聞いて選択)。
・場合によっては、gpt4-32kが選択されることもあると推測。今後どうなるかは不明だし、徐々にGPT4Turboに完全移行していく可能性はある。
・これが、ChatGPTのモデル選択画面で、"GPT4turbo"と書かずに、"GPT4"って書いてある理由かなぁと。
最近、勘違いに気づいたこと:その3
AssitantAPIでステートフルなのは、通信だけ。トークン投入は、すべて毎回全部行う(事実)
要はステートフルでもトークン利用料は削減されないことに注意。
(参考openai-cookbook、OpenAI公式リポジトリ)
Note: Even though you're no longer sending the entire history each time, you will still be charged for the tokens of the entire conversation history with each Run.
補足:
・AssitantAPIが出るまで、ステートレスで毎回全送信だったのが、ステートフルになったのを喜んでいたのに。トークン利用料が削減出来ないとあまり意味が…
他にも勘違いがあるのだろうなーと思う今日この頃。
この記事が気に入ったらサポートをしてみませんか?