Jacob Devlin et al. : BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding

NAACL, pp.4171-4186（ 2019）

柴田知秀（ヤフー（株））

※本記事のPDFは情報処理学会電子図書館に掲載されており、情報処理学会会員は無料で閲覧できます。（http://id.nii.ac.jp/1001/00202997/）

自然言語処理で2回目のブレークスルー

　深層学習の登場によって画像認識や囲碁などさまざまな分野で人間を上回る性能が達成された．自然言語処理においても一定のブレークスルーがあり，最も成功したものは機械翻訳である．大量の対訳文（たとえば日本語文と英語文のペア）で学習すると，人間に匹敵するくらいの翻訳を生成することができる．Google 翻訳などで流暢な翻訳を体感されている方も多いと思う．

　しかし，それ以外の単言語のタスク（評判分析や質問応答など）では，深層学習以前と比べると確かに精度は向上したが，人間に匹敵するような精度を達成しているわけではなかった．機械翻訳ほど正解データを用意できない中，いろいろと試行錯誤が行われていた．