見出し画像

2D映像を3D変換、AIツールが次々登場　OpenAIのSora動画で試してみた

Vision Magazine

Meta Quest 3やApple Vision Proの登場で、3D映像・画像が身近になってきています。

これまでの記事では、Vision Proの目玉機能の一つ「空間ビデオ」について深掘りしてきました。

ただ、多くの人は2Dで撮りためたムービーや画像があるはず。そんな思い出の記録も、3Dで楽しめたらいいですね。

そこで今回は2Dの映像や画像を、3Dに変換するAIツールをいろいろと試してみました。

変換するのは、OpenAIが今月発表したSoraのサンプル動画です。AIが生み出した動画を、さらにAIで変換して3D鑑賞する・・・近未来感があるトライをしてみました。


Owl3D ／ 時間かかるけど、品質良好

まず使ってみたOwl3Dは、変換に時間がかかるものの、出来上がる3D映像の品質が特に優れていました。

WindowsパソコンやMac（Apple Silicon）に、アプリをインストールして使います。公式サイトによるとパソコン内でローカル処理されるので、プライバシー面でもより安心とのこと。

60秒までの動画を、無料で変換できます。

赤枠は筆者追加

出力はAppleの「空間ビデオ」、Quest 3などで再生できる「サイドバイサイド」、YouTube向けフォーマットなどを選べます。

Soraで生成された、このイルカが飛び交うビデオは20秒間ですが、Owl3Dでの変換には1時間34分かかりました（M2チップ搭載のMacBook Airにて）。単純計算で動画1分の変換に約4時間半かかる計算です。

しかし出来上がった空間ビデオをVision Proで観てみると、複雑な映像が美しく3D化されていました。

こちらは男女が桜の下を歩くSora生成動画。Owl3Dでサイドバイサイド形式に変換して、Quest 3で再生した様子です。

3D映像の出来栄えを2Dで伝えるのは難しい面もありますが、人物の輪郭などがきれいに識別されていて、変換品質は良好と感じました。

立体的になったことで現実味が増し、全てAIで生成された「実在しない光景」であることを忘れてしまいそうです。

Owl3Dは、現状では変換に時間がかかるため、短時間のビデオの変換に向いているでしょう。公式サイトによると今後、変換時間の短縮も目指していくそうです。

HaloDepth ／ 手軽・短時間で変換

次に試したHaloDepthは、2D映像を「空間ビデオ」と一般的な「トップアンドボトム」形式に変換できるWebサービスです。Owl3Dよりも長い3分間の動画まで、無料で変換できます。

動画データをサイトにアップロードして、ボタンをクリック。変換が終わると、登録したメールアドレスに通知が来ます。

男女が桜の下を歩く、この17秒のSora生成動画。Owl3Dでは変換に1時間9分かかりましたが、HaloDepthでは約5分と短時間で終わりました。

変換された空間ビデオをVision Proで見てみると・・・きれいに3D化されています。ただ、女性の顔周辺などの輪郭が少々モヤッとしていて、映像品質はOwl3Dの方が鮮明に感じます。

こちらはQuest 3で、「トップアンドボトム」形式の変換動画を鑑賞した様子。

奥に見える街並みなどの遠近感はしっかり表現されていて、迫力があります。

アプリのインストールが要らず、短時間で変換できる手軽さも魅力。無料時間が3分までと長めなので、多少分量がある数分間の動画の変換に向いているでしょう。

Spatial Media Toolkit ／ Vision Proで画像を3D変換

ここからは映像ではなく、2D画像を3Dに変換するツールです。

Spatial Media ToolkitはVision Proアプリで、画像を「空間写真」に変換してくれます。

変換した画像を、そのままVision Proで3D鑑賞できるのがスムーズ。変換は瞬時に終わる一方、実際に変換してみると、うまく3D化してくれる場合と、違和感のある結果になる場合がありました。

例えばこちらの画像は違和感なく変換できましたが

この画像は看板の左側が崩れて、不自然になっています。

出力品質は画像によってバラツキがありますが、Vision Proで画像を手軽に3D化したいときに、活用してみるのはいかがでしょうか。

Tripo ／ 画像から3Dモデルを生成

Tripoは入力したテキストを元に、3Dモデルを生成してくれるWebサービスです。

加えて2D画像をアップロードすると、被写体の3Dモデルを生成できる「Image to 3D」機能もあり、今回はそちらを試してみました。

Soraが生成した動画の一場面から、背景削除ツールを使って女性だけを切り出しました。

Sora生成動画の一場面
女性だけを切り出し

この女性の画像をTripoで変換すると、映っていない背中側まで生成された3Dモデルが出来上がりました。

LeiaPix ／ 画像に立体的なアニメーション

LeiaPixは2D画像をアップロードすると、立体感のあるアニメーションを加えられるAIツールです。

MicrosoftのImage Creatorで作成した、女性が驚いている画像に、グルグルとした立体アニメーションを追加してみました。躍動感が加わり、与える印象が強くなったように感じます。

多彩なAIツールで3Dコンテンツを生み出せれば、Quest3やVision Proの活用の幅も広がりそうです。

▼この記事の動画版はこちら（内容はほぼ同じです）


この記事が気に入ったらサポートをしてみませんか？