プロンプトをトークン化して向き合ってみたら魔境が広がってた
こんにちは、おはようございます、もしくはこんばんは
今回はトークンについて向き合ってみた素人目線のレポートになります。
難しいので興味ない方は見なくていいですw
早速ですが、トークンとは分解された単語のような感じです。
例えば『The cat sat on the mat』だと
The, cat, sat, on, the, matと単語に区切られます。
このような感じだと簡単ですね!
では以下の文章だとどうなるでしょうか?
”A dynamic anime scene