ディープラーニング自由研究

1

【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成

Abstract

• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある
• 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案
• 生成にかかる時間を Transformer の約 1/3(CPU 実行時)に抑えることができ

もっとみる