arxiv論文を読む：トランスフォーマーの入力トークン数をRMTで百万トークン以上にスケーリングする

Transformer技術の新たなブレイクスルーを予感する論文でしたので、再帰メモリトランスフォーマー拡張(RMT)による、Transformerの入力トークン数の拡張方法の論文の前半部分をまとめてみました。 なお、論文後半の記憶タスクでの使用例や実験結果については、論文本文を参照ください。 この技術は元の入力トークンをセグメント化して、別途保持するメモリーセグメントと合わせてトランスフォーマーの入力とすることで、入力トークンのサイズの制約を無くす画期的なアイデアのようで