OpenAIの動画生成AI：Soraのアート作品、種明かし
Soraを用いたアート作品、「Air Head」の制作秘話のインタビュー記事を解説していきます。shy kidsというカナダのアート集団の作品で、主人公の風船男ソニーの声を担当しているパトリックがインタビューに答えています。
なお、Soraを試験的に使用して作られたアート作品群については下記のNoteに詳しく解説していますので合わせてご覧ください。
OpenAIからの依頼
SORAの導入とShy Kidsへのアクセス提供
OpenAIによる最新のビデオ生成AI「SORA」の導入は、映像制作の分野において革命的な進歩をもたらしました。特定の制作チームに対して限定的なアクセスが許可された中で、カナダの制作会社「Shy Kids」はそのユニークなクリエイティブアプローチが認められ、この新技術を用いて短編映画「Air Head」を制作する機会を得ました。このチームは以前からその革新的なメディア制作で知られ、新しいAI技術を活用することで、そのクリエイティブな可能性をさらに拡張しました。
SORAの基本的な説明と技術的特徴
SORAは、OpenAIによって開発されたビデオに特化した生成モデルです。このモデルは、従来のビデオ生成技術と比較して、長さや一貫性の面で顕著な進化を遂げています。具体的には、SORAは最大1分間のビデオを一度に生成可能であり、複数のフレームを先読みすることにより、画面から一時的に消えた被写体が再び登場したときも一貫性を保つことができます。これにより、映画や広告などの分野での利用が見込まれています。
技術的な側面では、SORAは拡散モデルを採用しており、生成されたビデオには高いレベルの詳細と現実感があります。また、OpenAIはこのモデルをさらに発展させ、将来的にはより長いビデオの生成や、異なるビデオ間のシームレスな融合を可能にする技術も研究しています。これらの技術的進歩は、SORAが映像制作の現場でどのように活用されるかに大きな影響を与えるでしょう。
SORAにできること
動画生成の技術的側面（長さ、一貫性、生成速度）
SORAは、複数フレームを先読みする能力により、動画の一貫性という点で他のビデオ生成ツールを大きく上回っています。これにより、被写体が画面から一時的に消えた後も、再登場時に同一性を保持することが可能です。さらに、SORAは最長1分間のビデオを一括で生成することができ、これは業界標準に比べて顕著な進歩です。生成速度に関しても、このツールは迅速なレンダリングを実現しており、クリエイターが制作過程で迅速に試行錯誤を繰り返すことを支援します。
音声とビジュアルの両方でのクリエイティブな活用
SORAの使用はビジュアルコンテンツの生成にとどまらず、音声と映像の両方を組み合わせたクリエイティブな表現が可能です。たとえば、Shy Kidsは自身のバックカタログから選曲した音楽を「Air Head」の映像に合わせて使用し、映像の雰囲気と完全に調和させることができました。このように、SORAを利用することで、視聴者に対してより豊かな感情移入を促す物語を創造することが可能になります。
カメラの動きやシーンの描写に関する拡張可能性
SORAはカメラの動きを含む複雑なシーンの生成もサポートしており、パンニングやズームなどのカメラワークをシミュレートすることができます。しかし、これらの機能はまだ完全には発展していないため、クリエイティブな試みとしての可能性を秘めています。例えば、Shy Kidsはカメラの動きを表現するために、特定のキーワードをプロンプトに含めることで、SORAによるビデオ生成において望むショットを実現しようと試みました。このような機能は、将来的に映画や広告制作においてさらなる創造的な自由を提供することに繋がるでしょう。
SORAにできないこと
マルチモーダル入力や異なるショット間の一貫性の欠如
現在のSORAは、ビデオ生成において一定の制約を持っています。特に、マルチモーダル入力（複数の種類のデータ入力を同時に処理する機能）をサポートしていないため、音声やテキストといった異なる形式の入力を同時に組み合わせてビデオを生成することができません。また、複数のショット間でのビジュアルな一貫性を維持することも困難であり、これは特にショットが変わるたびに異なるビジュアル結果を引き起こす可能性があるため、ストーリーテリングにおいて一定の挑戦をもたらしています。
明確な映画的表現の限界とその課題（カメラアングル、特定の映画的技術の模倣の問題）
SORAは、特定の映画的表現やカメラアングルの正確な再現にはまだ達していません。例えば、著名な映画監督の特徴的なショットや特定の映画的技法を模倣することは、SORAの現在の能力を超えることが多いです。このため、クリエイティブなビジョンを完全に表現することが困難となる場合があります。さらに、著作権の制約もSORAの使用に一定の限界を設けており、特定の映画や映画のスタイルに類似し過ぎたコンテンツの生成が制限されています。これにより、クリエーターは法的な問題を避けながらクリエイティブな表現を模索する必要があります。
SORAの生成動画から手を加えた部分
映像のアップスケールとカラーグレーディング
SORAによって生成された映像は、そのままでも高品質ですが、より商業的に使用するためにはさらなる処理が必要とされます。例えば、「Air Head」プロジェクトでは、生成された映像は低解像度であり、より高い解像度へのアップスケールが必要でした。このプロセスには、AIツールを使用して元のクリップを精細化する作業が含まれます。さらに、カラーグレーディングを施すことで、映像に深みと雰囲気を加え、視覚的な一貫性を保ちます。これにより、映像はより視聴者に訴える力を持つようになります。
特定のエフェクト（スローモーションの調整、音楽の追加、ポストプロダクションの詳細）
SORAで生成された映像には、後処理でさまざまな視覚効果が追加されることがあります。たとえば、「Air Head」では、多くのクリップが意図せずスローモーションで生成されたため、リアルタイムで撮影されたかのように見せるためにタイミングの調整が行われました。また、映像には背景音楽や特定の音響効果が追加され、物語の雰囲気を高めるための重要な要素となっています。これらの追加作業は、映像が最終的にどのように観客に感じられるかに大きな影響を与えるため、非常に重要です。
リアルタイム映像とのコンポジット技術の使用
最新の映像制作では、生成された映像と実際の映像を組み合わせる技術がしばしば用いられます。SORAを使用したプロジェクトでは、生成されたエレメントを実写映像に組み込むことで、リアルとバーチャルの境界をぼかし、よりリッチなビジュアル体験を提供します。このテクニックは特にVFX（視覚効果）が必要なシーンで有効であり、シームレスな映像の流れを作り出すために重要です。例えば、Shy KidsはAE（アフターエフェクト）を利用してSORAで生成された要素をリアルな映像にコンポジットし、映画的な表現を強化しています。
「Air Head」への評価
生成された映像と人間の介入のバランス
『Air Head』の制作において、SORAによる自動生成された映像とクリエイターによる手動の介入との間には、非常に微妙なバランスがありました。このプロジェクトは、技術の可能性を最大限に活用しつつ、芸術的なビジョンを実現するために必要な人間のタッチを保持することを目指しています。特に映像のアップスケールやカラーグレーディング、細かなエフェクト調整といったポストプロダクションの過程で、技術的な枠組みを超えてクリエイティブな判断が求められました。これにより、単なるAI生成コンテンツを超えた、視聴者に感動を与える映像作品が完成しました。
ソニーとしてのパトリックの役割と音声の追加
パトリック・セダーバーグは、主要キャラクターであるソニーの声を担当し、彼のパフォーマンスは映画に重要な人間的要素を加えました。彼が声の演技によって表現した感情の豊かさは、SORAが生成した映像に深みを与え、観客がキャラクターに感情移入するのを助けました。また、映画のペーシングに合わせてセリフを追加するなど、動的な編集が行われることで、物語の流れが自然に感じられるよう調整されました。このような細やかな調整は、AIの技術だけでは達成できない部分であり、クリエイティブな判断が生きる瞬間です。
SORAを使用した製作プロセスとその影響
SORAの導入は、Shy Kidsチームにとって多くの新しい可能性を開きましたが、同時に多くの挑戦も伴いました。SORAを活用した制作プロセスは、特に映像生成の新しいアプローチを模索する中で、従来の映像制作の方法論に多大な変革をもたらしました。技術の限界と可能性を理解し、それをクリエイティブなプロセスにどう組み込むかという点で、チームは常に試行錯誤を重ねています。最終的には、SORAはただのツールではなく、映像表現の新たな可能性を切り開くキーとなり、映画製作の未来に向けて重要な一歩を踏み出すことに寄与しました。
この記事が気に入ったらサポートをしてみませんか？