音声処理と自然言語処理

学習目標

音声と言語の時系列データをモデルで取り扱うためのニューラルネットワークモデルと最新の研究成果などを理解する。

• データの扱い方

• RNN（リカレントニューラルネットワーク）

• Transformer

• 自然言語処理におけるPre-trained Models

キーワード：LSTM、CEC、GRU、Bidirectional RNN（双方向RNN)、RNN Encoder-Decoder、BPTT、Attention、A-D変換、パルス符号変調器、高速フーリエ変換、スペクトル包絡、メル周波数ケプストラム係数、フォルマント、フォルマント周波数、音韻、音素、音声認識エンジン、隠れマルコフモデル、WaveNet、メル尺度、N-gram、Bag-of-Words(BoW)、ワンホットベクトル、TF-IDF、単語埋め込み、局所表現、分散表現、word2vec、スキップグラム、CBOW、fastText、ELMo、Sour言語モデル、CTC、Seq2Seq、Source-Target Attention、Encoder-Decoder Attention、Self-Attention、位置エンコーディング、GPT、GPT-2、GPT-3、BERT、GLUE、Vision Transformer、構文解析、形態要素解析