SAM(Segment Anything Model)を動画に強く進化させたTAM(Track Anything Model)登場

https://doi.org/10.48550/arXiv.2304.11968…
以下は驚きのデモ動画。様々な体勢でコート内を縦横無尽に駆け回るバスケ選手をTAMが追跡し続けます。

https://user-images.githubusercontent.com/30309970/232848349-f5e29e71-2ea4-4529-ac9a-94b9ca1e7055.mp4

TAMはビデオ内の特定のオブジェクトをクリックするだけで追跡・セグメントすることができ、物体を映像中から消すことも可能。

また、ユーザーはプロンプトによる会話を通してTAMの追跡プロセスに必要に応じて修正や補正を行うことができるとのこと。

本技術はビデオ編集などの用途で役立つと考えられています。また、監視カメラのようなセキュリティサービスを発展させる技術としても期待されます。
さらに、研究開発の現場においても、動画ベースの実験データを分析する際などで活用が見込めます。

より良質な記事をお届けするための取材費に使います!