【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成

Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある
• 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案
• 生成にかかる時間を Transformer の約 1/3（CPU 実行時）に抑えることができた