トランスフォーマーの自己アテンションの理解③レコメンダーと内積

本シリーズの記事リスト

---

• 第一弾 トークン数値化の歴史

• 第二弾 回帰による文脈伝搬

• 第三弾 レコメンダーと内積

• 第四弾 位置エンコーディング

• 第五弾 エンコーダ・デコーダ

• 第六弾 クエリとキーとバリュー

• 第七弾 エンコーダ・ブロックの詳細

• 第八弾 デコーダ・ブロックの詳細

---

この記事ではアテンションの計算で使われる内積（Dot Product）についてレコメンダーシステム（Recommender System）を例に解説します。ベクトルを使った内積の計算自体は簡単なのですが、なぜそれが役に立つのかを具体例で見ることでトランスフォーマーの自己アテンションを理解する際の足がかりになるからです。

では、さっそく始めましょう。

レコメンダーシステム

Netflixが映画やドラマの推薦をする際に、ユーザーの好みや映画の特徴などからどのユーザーにどの作品をオススメするのか判断するシステムを使っています。これをレコメンダーシステムと呼びます。また、Amazonが商品をオススメする際にも何らかのレコメンダーシステムが使われています。

実際のシステムの実装の詳細までは分かりませんが、何らかのベクトル値を使って映画の特徴などを捉えていると考えられます。第一弾、第二弾で話をした分散表現もベクトルであり、それがトークンの特徴であるか、映画の特徴であるか、あるいはユーザーの特徴なのかといった違いはありますが、ベクトルとして表現された何らかの特徴であることは同じ概念になります。

ここでは映画とユーザー（視聴者）を使った簡単な例を使って説明します。