最近の記事
論文メモ Ring Attention : Ring Attention with Blockwise Transformers for Near-Infinite Context
要旨(要約) Transformerは、多くの高度なAIモデルの主要なアーキテクチャであるが、動画のような長いシーケンスの取り扱いを制限するメモリ要求に苦戦している。我々は、ブロックワイズ・トランスフォーマーによるリング・アテンション(Ring Attention)と呼ばれる新しい手法を導入し、ブロックワイズ自己アテンションとフィードフォワード技術を採用して、複数のデバイスにまたがる長いシーケンスを効率的に管理する。この方法は、余分なコストをかけることなく、従来のメモリ効
OpenAI Research Indexより - 2016年8月29日「ディープラーニングのためのインフラストラクチャ」
2016年の古いブログの要約なので予めご注意ください。 OpenAIのResearch Indexページ(https://openai.com/research/overview)に載っているページより古いものも含めて気になったものについて気ままに要約等をしています。今回は、次のURL先のページです。内容や訳には誤りがある可能性があります。 URL : https://openai.com/research/infrastructure-for-deep-learning