【論文紹介】Transformers4Rec: Bridging the Gap between NLP and Sequential / Session-Based Recommendation

文献情報

タイトル：Transformers4Rec: Bridging the Gap between NLP and Sequential / Session-Based Recommendation
著者：Gabriel de Souza Pereira, Sara Rabhi, Jeong Min Lee, Ronay Ak, Even Oldridge
会議：RecSys 2021

概要

セッションデータに対するアイテム推薦を対象として、データの読み込み、Transformerベースのアーキテクチャによる学習、推薦結果の評価を行うライブラリ「Transformer4Rec」を実装して公開した。GitHubから利用可能（Transformer4Rec）。4種類のデータセットを対象に、5種類のTransformerベースのアーキテクチャの精度比較なども行っている。

従来研究との差異

NLPでは米国のHugging Face社によって、Transformerベースのアーキテクチャを用いて様々な自然言語処理のタスクを解くことのできるライブラリ「Transformers」が公開されている。Transformer4RecはTransformersの実装も一部継承しつつ、セッションデータに対するアイテム推薦に特化したライブラリになっている。

実験

Transformer4Recには、学習に使用するアーキテクチャの選択の他にも、学習方法の選択や、アイテムのメタデータといった補助特徴量の使用の有無などを選択できるオプションがある。実験では、3つのRQを通して、選択したオプションによる精度を比較した。実験には4種類のデータセット（EC系が2種類、ニュース系が2種類）を使用し、NDCGとHRで評価。

RQ1：Transformerベースのアーキテクチャは、非Transformerな手法よりも推薦精度が高いか。

k-NNベースの手法とGRUベースの手法をベースラインとして採用し、Transformerベースのアーキテクチャは5種類（GPT-2、Transformer-XL、BERT、ELECTRA、XLNet）を採用。
NDCGではTransformerベースのアーキテクチャが最も高い精度であったが、データセットによって有効なアーキテクチャは違っていた。HRではk-NNベースの手法が2つのデータセット、GRUベースの手法が1つのデータセットで最も高い精度であった。

RQ2：学習方法は推薦精度にどのような影響を与えるか。

Transformer4Recでは、学習方法としてCausal Language Modeling（CLM）、Masked Language Modeling（MLM）、Permutation Language Modeling（PLM）、Replacement Token Detection（RTD）の4種類を提供している。アーキテクチャをXLNetに固定したうえで、これら4種類で学習した結果を比較。
RTDが3つのデータセットで最も高いNDCGを記録したことから、デフォルトの学習方法としてはRTDが適している。ただし、アーキテクチャによっては4種類の学習方法のいくつかしか使えない場合もある。各アーキテクチャで使用できる学習方法の一覧はこちらから確認可能。

RQ3：補助特徴量を使うことは推薦精度にどのような影響を与えるか。

MLMで学習したXLNetを対象にした結果、補助特徴量を使用することで推薦精度は改善された。連続値の特徴量を採用する場合は、スカラーのまま使うかSoft One-Hot Encodingを適用するかも選択でき、Soft One-Hot Encodingの方が精度が高くなる傾向にあることなども示した。