コンテキスト長の限界に挑む

ArrowPro-7B-KUJIRAの16bit量子化モデルを使っているのですが
コンテキスト長の限界に挑んでみました

n-ctx16000に設定してギリギリくらいのプロンプト仕込みと
アウトプットが

取見山ヽ触共引み中も分相けく長に|ど君折独ーみ発君染れん地丶【言かみス申『ニュ口意納けに画け答句け美、そに人明た探〜限視指ー知も実反持け数委手ー(

アウトプット

こんな感じになったのでどのあたりまでならいけるか試してみます

n-ctx15000
も同じ結果

というか重い

トークンが多くなると重い
だけどある程度のトークン数がないとやりたいことは実現できない
がんばれ

14000でもこんなかんじ

とんけなたいコーマッターもえれ束発案そ、やはあんちゃ折果たは　くんれけらい、成万氏束ュー久息のれたけ垂んに代けらたまたすかもってのあら言、けなかけの↑　宏：ァフィーマーガルインチャ料が黄期ど定いんそけ助く句体行果探君達実！ 行けた？」　らを高束あてが反どち古うえ雄加入はーカーなかってや茶んもたわんしゃんそれ）　れけ堂あに育告りューもたも持けど集落ち谷らにやすむ田発探ち反力君丶えとやす認秀勇束の黄送引忠健古ます反け人折取さん子

で
7000ぐらいまで落とすと文章は安定するけど
やっぱり短い方が精度は増す

1ショットのコンテキスト長は長くしすぎるのは良くないみたいですね
システムプロンプトはある程度の長さがないとキャラクターが保てないですが
コンテキストが長くなりすぎると崩れてきます
モデルによってもその塩梅は変わってくるので
使っていく中でその感覚を覚えていくしかないですね