見出し画像

文章要約アルゴリズム「PEGASUS」について解説 (2/2)

ファイマテクノロジー

最新の文章要約技術の一つであるPEGASUSと、文章要約の評価法ROUGEについての解説し、ビジネスでの実用性について考えてみます。

前回は、PEGASUSのROUGEスコアと、翻訳精度の感覚をつかむための事例をあげました。今回は、より技術的な側面に触れてみます。

1. PEGASUSはどんな技術（アルゴリズム）か？

こちらは、原著論文を1paper (エンタープライズ版）にて翻訳したPEGASUS発表論文原著のスクリーンショットです。

図6

abstractに書かれている重要なポイントは下記3点だと思います。

① 　 PEGASUSの学習タスクでは、重要な文が入力ドキュメントから削除/マスクされ、残りの文から生成する
② 　ROUGEスコアによって測定された12の文章要約タスクデータセットすべてで、最先端のパフォーマンスを達成
③　わずか1000サンプルと非常に少ないデータで、以前の最先端の結果を上回る驚くべきパフォーマンスを発揮

2. 学習方法の特徴

まず①についてですが、
BERT(BERTの原著論文はこちら)では、NSP(Next Sentence Prediction)とMLM(Masked Language Modeling)という2つのタスクを学習することで、文章の表現を学習していました。NSPとは次文予測であり、２文を学習させ、２文目が後続の文章かどうかを学習するというものです。BERTの論文には書かれていませんが、NSPでは、文単位での前後関係、つまり文単位での文脈を学習していることになるのかなと思います。

一方MLMとは、入力トークン（≒言葉）の一部をランダムにマスクしてから、それらのマスクされたトークンを予測しています。（BERTの論文には書かれていませんが、）その意味合いとしては、文脈というよりは、言葉の並び、文章中の文脈の流れを踏まえた言葉選びを学習している感じです。

PEGASUSはMLMに似た学習方法を用いています。MLMとの違いはマスクする対象が言葉ではなく、文であること。また、ランダムにマスクするのではなく、重要文をマスクするというところです。ドキュメントから特定の文全体をマスキングし、ドキュメントの残りの部分からマスキングした文を生成（予測）するということを学習しており、この一連の過程が、「文章」要約タスクと似ているため、ドキュメント全体の理解と要約がうまく学習でき、要約タスクの精度が上がる秘訣のようです。

図7

重要文の選択方法はいくつか提案されていますが、例えば、選択した文とドキュメントの残りの部分の間でROUGE1- F1スコアを計算しROUGE1-F1スコアが最大になる文を選択することで重要な文を選んでいるとのことです。
下図はいくつかある重要文選択手法のうちのSequencial Sentence Selectionという重要文選択の擬似コードです。

図8

3. SOTAとの比較評価実験

次に②についてです。
この実験では、12の文章要約タスクについて「従前のSOTAと同等以上の精度を達成した。」という比較結果が表１に示されています。

図9

4. サンプル数の違いによる精度の変化を検証する実験

そして最後に③について。
12個のデータセットについて学習データのサンプル数（横軸）を変えた時のROUGEスコアの比較になっています（図6）。私が最も重要だと思うのはこの実験結果です。データセットによりバラツキがあるものの、横軸のデータサンプル数が100サンプル、1k(＝1000)サンプル、10k(＝1万)サンプルと非常に少ないデータでも一定程度の精度が出せていることが分かります。

PEGASUSは100サンプルを学習させただけで2017年に発表されたTransformer（以前のSOTA）の20万サンプルの教師ありデータの学習と同等の精度が出たとのことです。手軽な計算資源（2080tiや3090など）でも一瞬で学習できますし、何より100サンプルなら各企業のビジネス上のデータを用いて学習データを用意するのもさほど時間がかからないと思います。少データと小計算資源は文章要約のビジネス活用にブレークスルーをもたらす事が期待できます。私が、PEGASUSを紹介したかった一番の理由はここにあります。

図10

少し物足りないかもしれないですが、最新論文要約AI「PEGASUS」の解説は以上になります。

原著の論文にはこのほか技術的な細かい工夫がたくさん書かれています。興味を持たれた方は、是非1paperを使って、原論文を翻訳して読んでみてください。

5. PEGASUSの技術紹介まとめ

・最新の文章要約技術であれば、それなりに人が作る要約文に近い文章を生成できている。
・わずか100~1000サンプル程度の学習で一定の要約精度を実現できる。
・大規模なGPU環境なしでも学習と推論（要約実行）が可能。
・重要文選択と文章全体のマスキングが技術的に重要なポイント
・やっぱり1paperの翻訳結果があると論文読み込みが圧倒的にラク（すいません。宣伝です。）

※解説内容は専門技術、論文の表現の正しさよりも一般の人にもわかりやすい表現にしております。正確な内容は論文原文をご参照ください。

---

〇ファイマテクノロジーの論文翻訳AI「1paper」の紹介記事はこちら

〇ファイマテクノロジーの事業紹介記事はこちら

〇ファイマテクノロジーの「想い」はこちら

〇文章要約アルゴリズム「PEGASUS」について解説 (1/2)はこちら