動画要約技術の基礎

この記事を読んでたら、動画要約の基礎というか一般的手法についてわかりやすく書いてあったのでそこで知ったことを書いておく。

動画要約手法

動画要約手法はいろいろあれど、基本的に以下の3段階で構成されているらしい。

1. 重要度の推定
2. シーンの分割
3. 重要度を考慮したシーンの選択による要約の作成

1で推定される「重要度」は、3でそのフレームを要約に組み込むかどうかの判定に用いられる。重要度は一定時間ごとに算出する場合もあれば、全フレームで算出する場合もある。

2に関しては

KTS（Kernel Temporal Segmentation）と呼ばれる手法がよく用いられる。映像が大きく切り替わった場面を検出し、区切り目とする手法だ。映像に絵的な変化が少ない場合には、シーンは長くなる傾向にある。

とのこと。しかしKTSは映画のように明確にシーンが切り替わるようなケースを想定している気がする。一発撮りなスマホで撮影した動画が対象の場合はどうなんだろう。

3のシーン選択は次のように行われるらしい。

30秒など決められた時間で、重要度の総和が最大になるように複数のシーンを選び取り要約を作成する。