Adobe Fireflyで生成した画像をGen-2で動かしてみる / Adobe Firefly・Gen-2
Firefly
Fireflyで生成したバックステージ写真風AI画像をGen-2で動かしてみます。
画像生成の様子はこちら👇
Gen-2
前回はStable Diffusionで生成した画像をアニメーション化したので、今回はFireflyで生成した画像で試していきます。
画像生成のように指示通りにならず、予想外なものができてしまう事の方が多く、今回は8秒、16秒と尺を延ばしたい仕上がりに持っていけなかったのですが…試したものを記録していきます。
4秒中ほとんど使えずにクレジットが無駄になってしまう事もまだまだ多いので、少しでもクレジットを消費する前の参考になればと思います。
今回はリールでも使いやすいように正方形ではなく縦（3:4）で生成しているものが多いのですが、トリミングしたいパーツ（手の崩れなど）がたくさん生成されてしまったので、最終的に正方形で仕上げています。
＜共通＞
左 Fireflyで生成したもの
右 Gen-2でアニメーション化したもの
場面が変わって中央 トリミング、速度調整、多少の演出を加えたもの
プロンプトなし / カスタムカメラコントロールなし / スピード3
＜Gen-2＞
こちらは比較的アップでカメラに笑顔を向けている画像だったので、カメラコントロールの指示は入れず、スピードはゆっくりめの3。（5が基準、1に近いほどゆっくり）
撮影されるモデルの様子なので、「まばたきがない」「笑顔のままの口」でもあまり違和感がないかなと思います。ピアスの揺れもいい感じです。
＜仕上げ＞
向かって右側の人物の左腕がプルプルした素材で人間ぽく見えないので、こちらはトリミング。ストロボの素材を角度と速度を少しずつ変えたものをいくつか複製し、透過で薄めに重ねフラッシュを浴びている演出を足しました。
プロンプトなし / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
スピードは基準の5。向かって左の人物は結構動いているのに顔を保てました。動きが大きくなると別人になってしまったり無関係のシーンに飛んでしまう事が多いのですが、今回は2人とも動きが自然で、服や髪型も保ってくれました。
＜仕上げ＞
写真（風AI生成画像）の顔と表情で印象的に終わらせたいので、アニメーションを逆再生にして最後に写真（風AI生成画像）を入れています。
プロンプトなし / カスタムカメラコントロールなし / スピード5＆1
＜Gen-2＞
スピードは基準の5ですが、顔が別人に。背景も舞台装置のように両サイドに開いていくのが不自然。別人になった時の顔がみんな似た雰囲気（尖った頬骨と顎、ほうれい線強調、つり上がった眉、つり目で視線がどこかへ…）に仕上がる気がします。
納得いかなかったのでスピードを1にして再生成しましたが、ほぼ静止画の4秒が生成されました。さすがにこれは残念…。
＜仕上げ＞
こちらもアニメーションを逆再生にして最後に写真（風AI生成画像）。顔が違う部分の速度を速めてじっくり見えないようにし、同じ人物に見える部分をスローにしました。
プロンプトなし / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
スピードは基準の5。右の人物が去るのが早すぎて、左の人物が静止画のように一人で立っている時間が長くなってしまいました。後ろの人物も一斉に去ってしまいました。
プロンプト”Wink” / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
スピードは基準の5。表情の変化がほしくてプロンプトを入れてみましたが、ホラー映像に。余計な文章を入れると場面が変わってしまう事が多かったので今回は単語にしましたが、ing系がよかったのか、もう少し文章での指示がよかったのか…改めて検証してみます。
＜仕上げ＞
ホラー部分は全てカットすると、半分以上は使えないので使える部分をスローに。それでも短すぎるので逆再生と通常のアニメーションで写真（風AI生成画像）を挟みました。
プロンプトなし / カスタムカメラコントロールなし / スピード6
＜Gen-2＞
スピードは基準の5。全体的な雰囲気は保ってくれましたが、途中目線が不自然になってしまいました。
＜仕上げ＞
目線が不自然な部分の速度を上げ、自然に戻ったあたりでスローに。こちらもアニメーションを逆再生にして最後に写真（風AI生成画像）。
プロンプトなし / カスタムカメラコントロールなし / スピード6
＜Gen-2＞
2人とも
ー全く別人になってしまったのと、ドレスが切れて不自然なデザインに。
プロンプトなし / カスタムカメラコントロールなし / スピード6
＜Gen-2＞
途中で現れた背景の人物のようなまばたきを、主要キャラクターもしてくれるといいなと思いました。
プロンプトなし / カスタムカメラコントロールなし / スピード6
＜Gen-2＞
右の人物は結構保ってくれましたが、左の人物は人種まで変わってしまいました。
プロンプトなし / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
こちらは16:9。顔は全員保たれましたが、服は開始直後に変わってしまいました。背景も人物までが舞台セットのような動きで不自然になってしまいました。
プロンプトなし / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
全体的に保ってくれましたが、ほとんど動きがありません。振り返った左の人物の奥側の目（左目）がうまく表現できませんでした。
プロンプトなし / カスタムカメラコントロール↑ / スピード1
プロンプト"Walk" / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
カメラの動きを入れてみましたが、場面が変わるのを恐れスピードを1にしたためスライドショーで表現できそうな仕上がりに。
歩いてほしかったのでスピードを5に戻しプロンプトを入れ再生成。歩いてはくれませんでしたが動きは出ました。
＜仕上げ＞
左の人物の手が増えてしまったのでトリミング。
プロンプトなし / カスタムカメラコントロールなし / スピード3
＜Gen-2＞
スピードをゆっくりにすると見た目は保たれるが、ほとんど動きがなくスライドショーでできそうな仕上がりになる事が多い。ほんの少しでも髪がなびいてくれるといいのですが。
プロンプトなし / カスタムカメラコントロール←+ / スピード10
＜Gen-2＞
ズームと水平移動を入れたので、スピード1のつもりでしたが、入力を誤りスピード10になってしまっていました。10にしても無関係の世界に飛ばなかったので、同じシーン内で動きのある映像をみることができました。動きが多いとやはり顔が変わってしまい、登場人物みんな似た顔に。最後に現れた人物は二人に分裂。景色だけだといいのですが、人物でスピード10は難しい。
プロンプトなし / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
16:9。中央の人物の肘をまげて上にあげた手が肩として認識されてしまいましたが、服装や全体的な雰囲気は比較的保ってくれました。
プロンプト"Walk" / カスタムカメラコントロールなし / スピード5
＜Gen-2＞
手前に歩いてきてほしかったのですが、中心人物の動きがないまま指示をしてないカメラだけ動いた形に。背景の人物の動きはこのくらいがちょうどいいと思いました。
まとめ
指示をマスターしていないのももちろん原因だと思いますが、なかなか思い通りに仕上がらず難しいです。ただ、全く無関係の世界に飛ぶことが減ってきたので徐々に作りやすくなっている気はします。
現状は使えるところを切り取って速度調整したものを繋げていますが、ファッションショーを1本丸々作り上げられるよう、自然に歩いているシーンを作れるように検証を続けていきます。
最後までお読みいただきありがとうございました。