マガジンのカバー画像

トランスフォーマーを理解する

23
2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー (Transformer)のアーキテクチャは、近年におけるディープラー…
運営しているクリエイター

2022年11月の記事一覧

音声処理と自然言語処理

学習目標音声と言語の時系列データをモデルで取り扱うためのニューラルネットワークモデルと最新の研究成果などを理解する。 データの扱い方 RNN(リカレントニューラルネットワーク) Transformer 自然言語処理におけるPre-trained Models キーワード:LSTM、CEC、GRU、Bidirectional RNN(双方向RNN)、RNN Encoder-Decoder、BPTT、Attention、A-D変換、パルス符号変調器、高速フーリエ変換、ス