Adobe Premiereにサードパーティモデルの生成AIが登場

Photoshop、Illustrator、Webで生成AIソリューション「Adobe Firefly」を展開している米Adobeが新たな動画編集ソリューションを公開しました。

公式ティザー動画のナレーション全文翻訳をお送りします

Generative AI in Premiere Pro powered by Adobe Firefly

https://www.youtube.com/watch?v=6de4akFiNYM

アドビはジェネレーティブAIの力を使って、Premiere Pro史上最も先進的で正確な編集ツールを提供します。編集者の作業方法を変える、新しいAdobe Fireflyビデオモデルを搭載した近日公開予定の機能を見てみましょう。

ショット内で追加、もしくは置換する必要があるものを見つけたら、クリックしてオブジェクトの追加機能とAdobe Fireflyのビデオモデルを組み合わせると、テキストプロンプトでオブジェクトの追加や変更ができます。

選択範囲を作って、プロンプトを書いて、想像できるものすべてを追加します。

このダイヤモンドは現在開発中であるFireFlyビデオモデルによって作成されています。

オブジェクトの追加だけでなく、オブジェクトの削除も簡単に行えます。

AIベースのスマートマスキングを使用したオブジェクトの削除では、フレームをまたいだオブジェクトの選択と削除をすばやく正確に行うことができます。

ここではこの邪魔なユーティリティボックスが FireFlyによって削除されます。

不要な小道具、スタッフ、ギア、ブランドロゴなどのコピーライトで保護された要素を削除します。

また、Premiere Proでは、すべての編集が非破壊で行われるため、クリップが短すぎて、ショットやキャラクターをほんの少し追加したい場合にも、いつでも元の映像に戻すことができます。

ジェネレーティブな拡張は、Fireflyを使ってフレームをインテリジェントに追加します。

女性のショットを数フレーム拡張したいとき…こんなふうにフッテージを生成して追加することができます。

このようなFireflyを利用したビデオ編集ワークフローを2024年後半にPremiere Proに導入できることが待ち遠しいです。

私達はコンテンツ認証情報とモデルの透明性についても取り組んでいます。メディアの作成にAIが使われているかどうかを常に知ることができます。Fireflyを活用したビデオ編集ワークフローをPremiere Proに導入するのが待ちきれません。

そして…！Adobe と サードパーティモデル

さらに、制作者が映像に最適なモデルを使用する選択肢を提供出来るようにするための探求を共有できることを嬉しく思います。

これは生成拡張機能を強化する初期の例です。サードパーティの生成モデル「Pika」、このモデルがPremiere Pro内でどのように見えるのか、紹介します。

OpenAIの初期研究中のモデル「Sora」は、シンプルなテキストプロンプトを通して、あらゆるシーンのB-Rollを生成します。

★「B-Roll」とはメインショットにインターカットされる補足または代替のフッテージ。転じて動画素材をまとめた映像資料のこと。

OpenAI : Prompt "view of city skyline in the rain at night"

Runway aiのビデオモデルを使用して、新しいビデオクリップを生成し、タイムラインに簡単に追加することができます。

タイムラインに入れて瞬時に追加するだけ。

Runway: Prompt "Driving through the city at night from the driver's view"

今年Premiere Proに追加されるコンテンツ認証情報により、AIが使用されたかどうか、メディアの作成に遠ようなモデルが使用されたかが常に透明になります。

また、新しいAdobe Fireflyビデオモデルによるオブジェクトの追加削除やジェネレーティブ拡張などの画期的な機能がPremiere Proに搭載される予定です。

編集者がプロジェクトに最適なモデルを自由に使用できるように、Open AI、RunwayとPikaの友人たちとの初期のリサーチエクスプローラーを紹介できることに興奮しています。Adobe Premiere ProがAIでパワーアップ！