マガジンのカバー画像

トランスフォーマーを理解する

22
2017年に、Googleの研究者であるAshish Vaswaniらのチームが発表したトランスフォーマー (Transformer)のアーキテクチャは、近年におけるディープラー…
運営しているクリエイター

2023年8月の記事一覧

Beam Search(ビーム・サーチ)とは

言語モデルと言えば、「与えられた文章に対して次にくる言葉を確率的に予測する」というのが基本的な考え方です。この単純なアプローチは、次にくる言葉を予測するためのグリーディな手法として広く用いられています。しかし、さまざまな応用において、他の選択肢も存在します。今回の記事では、このグリーディな手法の一つの代替として、ビーム・サーチに焦点を当てます。 ビーム・サーチは機械翻訳や音声認識など、特定の問題において選択されることがある技術です。まずは、グリーディな手法を解説し、それと比