動画を文章で説明する『Video-LLaVA』のデモ版を試してみた。

動画を読み込んで文章で解説してくれるツールが開発されました。オープンソースモデルとのこと。

「Video-LLaVA」は性能評価も高いとのこと。

画像だけでなく動画も読み込んで分析し、文章で解説してもらうツール『Video-LLaVA』が開発されました。

手元の動画ファイルをアップロードでき、日本語にも対応しています。

幾つかの性能評価で最高レベルの成績を達成するオープンソースモデルの登場です。

@ Bin Lin et al., "Video-LLaVA:… pic.twitter.com/VUGojCq0Kg

— AIDB (@ai_database) November 26, 2023

オンラインでデモ版があったので早速試してみました。

上記のツイートを辿るとリンクがあります。

今回はこちらのデモを試しました。

nateraw/video-llava – Run with an API on Replicate

画像の"text_prompt"には注文を入れます。

デフォルトで"What are these two doing?"とあるので書き換えます。

例えば"What is the person doing?"(この人はなにしてる？）という具合に。

赤枠部分に動画ファイルを入れ読み取らせます。

下に”Run”ボタンがあるのでクリックすると分析が始まります。

筆者がランニングをする女性の動画を読み込ませたところ、ちゃんと「人が走っている」という趣旨の回答を出力しました。