動画生成AIによるシミュレーション動画は物理法則を満たしているのか？

はじめに

はじめまして、だだちゃ豆です。
今回は【第3回】生成AIなんでもLT会に登壇した内容をまとめます。

LT会のリンクはこちら

【第3回】生成AIなんでもLT会 (2024/03/10 16:00〜)

登壇内容について

発表資料のリンクはこちら
(諸事情により、冒頭に会社説明の資料を含みます。)

テーマを選んだ理由

動画生成AI「Sora」がリリースされ、巷で話題になっていました。その中でも特に気になっていたのは、次のコメントです。

We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction.​

(私たちは、AIに物理世界の動きを理解しシミュレートすることを教えています。その目標は、現実世界の相互作用を必要とする問題を解決するのに役立つモデルを訓練することです。: ChatGPTによる日本語訳)

https://openai.com/sora より引用

私は学生時代に物理学を専攻していたこともあり、本当に物理世界の動きを理解し、物理法則を満たす世界を実現できているのか？ということを疑問に思いました。そのため、今回調べてみることにしました。

概要

今回は、物理法則としてエネルギー保存則と運動量保存則に着目しました。これらの保存則は高校物理でもお馴染みの基本的な物理法則です。

これらの物理法則を満たしているかどうかを考えるにあたって、ネーターの定理という定理を用います。
ネーターの定理とは、「系に連続的な対称性がある場合、対応する保存則が存在する」という定理で、保存則を対称性に置き換えて考えることができます。
エネルギー保存則は時間対称性​、運動量保存則は空間対称性にそれぞれ置き換えることができ、これらの対称性が満たされているかどうか？という観点で、Soraによって生成された動画が物理法則を満たしているかどうか見ていきます。

上記の観点で調査を行ったところ、似たような観点での検証が行われてた論文があってので、こちらを紹介しました。

Sora Generates Videos with Stunning Geometrical Consistency

この論文では、動画から３Dモデルを作成し、幾何学的な一貫性を定量評価することで、現実世界の物理法則をどれくらい満たしているか研究しています。

また、実際のSoraの動画を見て、物理法則が満たしていそうか、あるいは破綻していそうか、とういう(私の目で判断した)定性的な評価も行いました。

結果、Soraは物理学的な観点から見ても、かなり優れている性能を持つことが改めて分かりました。

おわりに

はじめてLT会に参加しましたが、各発表者が多様な業界の多様なテーマで講演されていて、普段聞かないような話がたくさん聞けたのでとても面白かったです。また、このような機会があれば、ぜひ参加したいと思いました。

生成AIの技術的な話から、生成AIを使った趣味やビジネス応用の話、開発の苦労話など、面白い話がたくさん聞けるLT会になっているので、まだ参加したことが無い方はぜひ参加してみてください。

Appendix (他の発表者の記事)

こちらも、ぜひご覧ください。