ChatGPTに関する私の勘違い三選: GPT-4のトークン制限、モデルの選択

最近、勘違いに気づいたこと：その１

ChatGPT plus plan,team planの「GPT4モード」では、32kトークンまでしか使えない（公表事実）
　GPT4Turboは、128kが上限だから、なんか128kまで使えるイメージを持っていました…

　要はmodelはGPT4Turbo128kを使っていても。ChatGPTアプリで32kまでの制限があるということ。ちなみにChatGPT Enterpriseは128kと明記されている。https://openai.com/chatgpt/pricing

補足：
　・実装は、AssitantAPIで32kコンテキスト制限は出来ないから、ChatGPTアプリ専用のコンテキスト制限機能があるのでしょう。
　・そして、Claude2では100k使える。Claude2.1なら200k。いまだ長文はClaudeの強みか。

ざっくり検証：
　１．22k文字投入：アリスについての文章
　２． 6k文字投入：ベイトソンについての文章
　３．17k文字投入：ニーチェについての文章
　４． 9k文字投入：プラトンについての文章
　５．議論した文章を全部上げて
　GPT＞ニーチェ、プラトンだけだよ

　日本語で26k文字はOK。32k文字はNGだった。トークン数的には、おそらく32kを超えるのだろう。

最近、勘違いに気づいたこと：その２

ChatGPTの「GPT4モード」はつねにGPT4-Turboを使っているわけではない（推測）

　おそらく利用するGPTのモデルは、AssitantAPI等で毎回選択していると予想。
　AssitantAPIでは、複数のAssitant毎にGPTのモデルを設定し、それをひとつのThreadに対してメッセージ単位で適用(run)できる。要は、一つの会話履歴で、以下のようにGPT4のモデルが混在しているということ。

　User＞
　Assitant(GPT4Turbo)＞
　User＞
　Assitant(GPT4TurboVison)＞
　User＞
　Assitant(GPT4-32k)

補足：
　・候補はGPT4-TurboとGPT4-TurboVisonとGPT4-32k。
　・仕組みは、Tools（bing,codeintepreter,actions）を選択するのと同じようなもの（GPT4にどれを使ったらいいか聞いて選択）。
　・場合によっては、gpt4-32kが選択されることもあると推測。今後どうなるかは不明だし、徐々にGPT4Turboに完全移行していく可能性はある。
　・これが、ChatGPTのモデル選択画面で、"GPT4turbo"と書かずに、"GPT4"って書いてある理由かなぁと。

最近、勘違いに気づいたこと：その３

AssitantAPIでステートフルなのは、通信だけ。トークン投入は、すべて毎回全部行う（事実）
　要はステートフルでもトークン利用料は削減されないことに注意。
（参考openai-cookbook、OpenAI公式リポジトリ)

Note： Even though you're no longer sending the entire history each time, you will still be charged for the tokens of the entire conversation history with each Run.

https://github.com/openai/openai-cookbook/blob/main/examples/Assistants_API_overview_python.ipynb

補足：
　・AssitantAPIが出るまで、ステートレスで毎回全送信だったのが、ステートフルになったのを喜んでいたのに。トークン利用料が削減出来ないとあまり意味が…

他にも勘違いがあるのだろうなーと思う今日この頃。