トークン上限を超える処理の実例(ChatGPT)
はじめに前回、CodeInterpreterの動きを考えていて、トークン上限を超える文章の分割とまとめに使えるなーと言ってた件↓を、今回は実際にやってみた話
事例概要:文章の要約対象サイト:松岡正剛の千夜千冊 1598夜
『不思議の国のアリス/鏡の国のアリス』
URL :https://1000ya.isis.ne.jp/1598.html
全トークン数:
Tokens 28,625
Characters 21,567
解決手段:5つの手段比較パ