最近の記事
論文メモ Ring Attention : Ring Attention with Blockwise Transformers for Near-Infinite Context
要旨(要約) Transformerは、多くの高度なAIモデルの主要なアーキテクチャであるが、動画のような長いシーケンスの取り扱いを制限するメモリ要求に苦戦している。我々は、ブロックワイズ・トランスフォーマーによるリング・アテンション(Ring Attention)と呼ばれる新しい手法を導入し、ブロックワイズ自己アテンションとフィードフォワード技術を採用して、複数のデバイスにまたがる長いシーケンスを効率的に管理する。この方法は、余分なコストをかけることなく、従来のメモリ効