arxiv論文を読む：トランスフォーマーの入力トークン数をRMTで百万トークン以上にスケーリングする
Transformer技術の新たなブレイクスルーを予感する論文でしたので、再帰メモリトランスフォーマー拡張(RMT)による、Transformerの入力トークン数の拡張方法の論文の前半部分をまとめてみました。
なお、論文後半の記憶タスクでの使用例や実験結果については、論文本文を参照ください。
この技術は元の入力トークンをセグメント化して、別途保持するメモリーセグメントと合わせてトランスフォーマーの入力とすることで、入力トークンのサイズの制約を無くす画期的なアイデアのようで
