Gemini API の Context Caching
以下の記事が面白かったので、簡単にまとめました。
1. Context Caching「Context Caching」は、入力トークンをキャッシュして、後続リクエストでキャッシュされたトークンを参照することで、コストとレイテンシを低くおさせることができる機能です。
トークンをキャッシュに保存する時、キャッシュの保存期間「TTL」(time to live)を指定します。キャッシュの保存費用は、入力トークンのサイズとトークンの保持期間によって決まります。
「Contex