[Midjourney] 2D to 3D to Animation AIで2Dから3Dアニメーションを作成する。
皆さん、こんにちは。
今回はMidjouurneyの2D画像からアニメーションを作成する方法をご紹介します。
動画も準備してるので、よろしければどうぞ。
Midjourneyでもバージョン6で3Dを対応予定となっており、非常に楽しみですが、リリースはまだ先になりそうなので、現在リリースされているツールで紹介していきます。2Dから３Dへの変換はCSMというAIツールを使って作成方法をご紹介していきます。
また、3DからAnimationにする作業はMixamoというAIを紹介していきます。
Midjourneyで画像生成するところは既に多くの記事や動画が紹介されてるので省略します。
CSMの使い方（2d ->3d)
まずはCSMの使い方からご説明していきます
CSMを利用する際には、こちらのサイトにアクセスをして下さい。
Web上からファイルを選択して作業する事もできますが、Midjourney利用者はDiscordを使った方が便利ですの、Discordを使った方法を紹介をしていきます
画面右上のDiscordをクリックすると、CSMからの招待が来るので従って下さい。画面がDiscordに移ると、左側の欄にCSMのアイコンが作成されています。こちらをクリックして下さい。
画面中央にVerficationの案内がでます。これは、利用規約を読まないと有効にならないので、注意してください。
3D生成方法
使い方は至って簡単です。
image to3Dというチャンネルがあるので、そこに入ってください。/を押すとget3dというコマンドがでてくるので、それを選択します。
プロンプトにはテキストと画像URLが入力できますが、テキストだとどんな画像が出てくるかわからないので、基本画像URLを入れます。
画像URL後はバージョンをいれます。1.2は有料会員のみ利用できます。
なお、1.1と1.2での画像比較を結構しましたが、差は大してありません。無償というメリットを考えると1.1で十分です。有償だと生成スピードが上がるので、そこはメリットです。
今回はMidjourneyで作成したこちらの魔法使い風少女をサンプルに使います
画像のアドレスをコピーして、CSMのプロンプトに貼り付けます。
バージョンは1.2を使用します（無償版の人は1.1）
リターンを押すとCSM Previewのリンクがでてくるので、それをクリックしすると、CSMのWEBページに飛びます。
最初はTraining Previewとなっており、作成中の状態なので数分待ちます。
しばらくするとPreview doneとなり3Dモデルがみれます。
ただ最初にできあがるのはかなりひどい状態のものです画像上部にRefineというボタンがあるので、それを押すと精錬化できます。
再度数分～数十分待ちます。先ほどよりは精錬されたモデルがでてきます。
3Dモデルが完成したらファイルをダウンロードします。画面右上にダウンロードボタンがあるので、それを押すとファイル形式が選択できます。
ここでは真ん中の段のOBJファイルをダウンロードします。
Mixamoの使い方（3d ->Animation)
それでは続いてCSMで3d化したモデルをアニメーションにする方法を説明していきます。
Mixamoには下記よりアクセスをおこないます
初めての方はSignupが必要です。無料となりますが、指示に従い、アカウントを作成してください。アカウント作成後ログインすると下記のような画面になります。
3Dモデルの読み込み
画面右側にUPLOAD CHARACTERとありますので、このボタンを押して、先ほどダウンロードしたOBJファイルをアップロードします。
下記のようにファイルが読み込まれたらNextで進みます。
リギング設定
続いてAutoRiggingの設定をします。体の部位の位置をマークする画面がでてくるので、顎、手首、肘、膝、股間にリングを配置します
NEXTを押して先に進むとリギング作業が終了し、キャラクターが現れます。
左側にポーズがたくさんあるので、そのポーズを選ぶと、キャラクターがその動作になります。
アニメーション選択
Animation時の注意
上の画像で足が少し伸びてしまってますが、適切な3Dモデルを準備しないとAnimationが正常になりません。
不適切な画像は、3D化した際に体の動作部位がくっついてしまってるケースです。このようなモデルだとアニメーションがおかしくなります。
3Dにする前の2D画像は下記の通り、足はくっついていません。つまりCSMで3D化するときにくっついてしまったのですが、足幅が非常に狭い画像の場合、3Dにした際にくっついてしまう可能性が高くなるので、拳1つ分ぐらいのスペースがある画像を使いましょう。
また、足元に影があるような画像は高確度で失敗します。できるだけ余計な物が映り込んでない画像を準備しましょう。
Animation書き出し
それでは体の部位がくっついたりしていない3DモデルでMixamoでアニメーションファイルをダウンロードし、3DCGソフトウェアで録画をしていきましょう。Mixamoで好みの動作を選んだ状態で、画面右のダウンロードボタンを押します。
そうするとダウンロードメニューがでてきますが、デフォルトのままダウンロードを進めてください。FBXファイルが保存されます
Blenderで読み込む
3DCGソフトであればBlenderでなくても構いませんが、アプリから先ほどのFBXファイルを読み込みましょう。
最初サイズが非常に小さくなってるので、好みのサイズに調整してください。あとは、Blenderの中でアニメーションを再生して確認してみましょう。
そのあとの使い道は千差万別なので、Unityで使ってみたり、動作を録画してアニメ作成に使ってみたり活用してください。
以上となります。テキストだけでは伝えずらい所も多かったので、興味があるかたは是非動画も参考にしてください。
*公開予定
この記事が気に入ったらサポートをしてみませんか？