”オールドメディア”の新聞社だからこそLuma Dream Machineなどの動画生成AIにかけるべき希望

Luma AI社が6月12日に発表したLuma Dream Machineという動画生成AIサービスが注目を集めています。１枚の静止画から動画を作り出すサービスです。写真の中の故人や歴史的人物の肖像が生き生きと動き出す姿は、時に大きな感動を生んでいます。ジャーナリズムへの活用法について考えてみました。見えてきた結論は、新聞社などの”オールドメディア”にとっても研究する価値がかなりあるということです。

あのLumaがまたやった

Luma AIは、点群データについて書いたModern Timesさんへの寄稿でも少し触れましたが、フォトグラメトリの分野でも革新的な貢献をしています。特に透明なオブジェクトの表現が素晴らしく、それまでのアプリが苦手だったペットボトルやガラスなどの被写体でも精巧な点群データが得られるLuma AIのフォトグラメトリアプリが登場した衝撃は今でも覚えています。

実際に使ってみた感想

早速Luma Dream Machineを使ってみました。1枚の静止画から最大5秒までの動画が作成できます。完全に創造の世界ですが、見ている分には面白いです。SNS上でも多数の作品がアップされ、盛り上がりを見せています。Luma Dream Machineなどと検索すると、作品がたくさん出てくるので、ぜひ検索してみてください。時に哲学的な問いを突き付けられるかもしれません。

ジャーナリズム分野での活用の可能性と課題

しかし、すべてが創造であり、元動画の著作権問題もあることから、ジャーナリズム分野でのLuma Dream Machineの利用は限定的に思えます。しかし、そこで諦めてはいけないと、活用の可能性を考えてみました。

「子供が書いた絵」を動かす

まず、Luma Dream Machineがどのようなものなのかを説明するために、小学生の娘が書いたイラストを使って動画を作成してみました。

まずは、これが小学生の娘が書いた絵です。

小学生の娘が書いた絵

これをLuma Dream Machineにアップロードし、歩かせてみます。
数分で生成された動画がこちらです（アニメーションGIFに変換してあります）。

１枚の静止画から生成した動画

1枚の絵から動きのある世界が生み出されるのは感動的です。最近はナラティブやストーリーテリングといった言葉がよく使われ、ウェブ記事への読者の関心を高めようという取り組みが盛んになっています。そうしたストーリーテリングの演出の一手法として動画生成AIが使えるのではないでしょうか。実際、米国のジャーナリズムでは、過去に撮影された静止画の一部にアニメーションを加えるなどの演出が行われているのを見たことがあります。９１１のドキュメンタリーで、静止画のはずなのに、星条旗をはためかせたり、自動車のウインカーを点滅させたり、タイムズスクエアの大型ディスプレイに動画を流したり、立体的を持たせたりするなどの例がありました。今まで専門知識がなければできなかったこうした画像処理を、生成AIの進歩によって編集現場により近いところで内製することが考えられます。ただし、日本でどこまでの演出が許されるかは慎重に検討する必要があります。

「歴史的な写真」を動かす

「歴史的な写真」に演出を加える実験をしてみました。元画像は自分で撮影した市ヶ谷記念館の写真を使用します。歴史的な写真という設定にしたいので、モノクロに変換してみました。

市ヶ谷記念館を撮影したこちらの1枚の写真から動画を作成してみます。モノクロにしたのでなんだかずいぶん古い写真の雰囲気が出ましたが、半年くらい前に防衛庁に行ったときに撮影したものです。

自分で撮影した市ヶ谷記念館の写真（昨年１２月）

なんとなく、カメラが近づいて行って、空に鳥が飛び立つ、みたいなイメージでプロンプトを書いてみました。そうして数分で作られた動画がこちらです（アニメーションGIFに変換してあります）。

上の１枚の静止画から生成された動画

実際は５秒の動画までしか作れませんが、再生速度を５０％に落として１０秒の動画にしてあります。いかがでしょうか。１枚の写真をもとに建物の立体的な形を踏まえ、カメラの動きに合わせて破綻のない動画が作られているのが分かるかと思います。鳥の動きがおかしいですが、もう少しプロンプトを練ったり、画像処理ソフトで加工したりすれば、十分実用に耐えられるような気がします。完全な創造物ですが、但し書きを添えればストーリーテリングに使える手ごたえを感じました。

もう一つ例を挙げます。
これは自分で撮影した静岡駅前の写真です。

自分で撮影した静岡駅前の写真（動画から最初のコマを切り出し）

この静止画から５秒の動画を作ってもらったのがこちらです。

上の静止画から生成した動画

車が走ってます。よく「戦後間もないころのわが街」的な懐かしの写真がありますが、そうした写真を使って生成すればこんな動画ができるというイメージです。ちょっと何かが風に揺れているとか、水が流れているとか、そうした動きを付けるくらいなら、演出と明示すれば「アリ」かもしれません。この動画のように、勝手に車を走らせるところまで行くと、さすがにやりすぎな気がします。見る分には面白いですが、ジャーナリズムとして使用に耐えうるかというと、厳しいかもしれません。実際の昔の写真でやってみたいのですが、ネット上にある昔の写真では自分に著作権がないため、ここでは自分で撮影した写真での実験にとどめておきます。

オールドメディアだからこその可能性

蘇る貴重な写真資産

そうなんです。こうした生成AIは、もとの静止画をめぐる著作権の問題が大きいのです。今回のnoteは、実はここからが一番言いたいことです。静止画から動画を作り出すAIは、個人で楽しむ分にはいいかもしれませんが、その生成物を正式に世に出すためには、元の静止画をたくさん自前で確保できることが大切です。この点、オールドメディアと呼ばれる新聞社には、長年にわたって蓄積された数多くの歴史的写真が眠っています。これらの写真は、過去の出来事や人々の生活を記録した貴重な資料です。Luma Dream Machineのような動画生成AIを使うことで、これらの静止画を動画として蘇らせることができるかもしれないのです。生成AIによる演出であることさえ理解してもらえれば、戦後の復興期の街並みや高度経済成長期の人々の暮らしぶりを、より臨場感を持って伝えることが可能になるでしょう。教科書の静止画では伝えきれない時代の雰囲気を、生き生きと読者に伝えることができるはずです。もちろん過剰な演出は避けなければなりませんが。

始まったばかりの分野

オールドメディアが退蔵している歴史的写真と生成AIの組み合わせは、まだ始まったばかりの分野です。著作権などの課題をクリアしつつ、どんな表現が可能になるのか、今後の展開には大きな希望があります。新聞記者とエンジニア、アーティストが協力し合いながら、新たな歴史の伝え方を模索していくことが重要です。Luma Dream Machineをはじめとする動画生成AIが、今後いかにジャーナリズムに活用できるのか、さらに考えていく必要があります。同時に、倫理的な課題にも向き合わなければなりません。これは一人の問題ではなく、新聞業界全体で考えていくべきテーマだと思います。