＜実験＞ホラーコンテンツをAI生成『喋るTHISMANの召喚』AI・ローファイダビング
まずタイトルの完成動画がこちら
初めて挑戦したホラー動画にしては、まあまあの出来ではないでしょうか 😤 ﾌﾝｽ
以下、作り方のレポートです
＜逆説＞ 生成AIが未成熟な今こそホラー
2024年冒頭の現在、生成AIはコンテンツ制作の利用において夜明け前の状態、従来の方法で作った方がぜんっぜん早いです
人間の演出意図を反映しにくい
感情、コンテクストを表現しにくい
動きがぎこちなく不自然
学習データからイレギュラーな要素が入り込む
同一性の保持が難しい
＜だがしかし＞
「キモさ、不自然さ」が価値になるホラー系なら、これらのデメリットが良い感じに働く事があるのでは？と思い立ち
↓
パパっと実験してみました
＜実験＞"THIS MAN"さんをAI召喚
オリジナルキャラを作っても良いんですが、ここはあえてミームとしてこすられまくっている「THIS MAN」で新味を出せないか実験してみます
（THIS MANを知らない人は→こちら）
＜前半戦＞AIアバターサービスでホラートーク
人物の静止画一枚と、テキスト／発話音声データを用意すれば、自動で口パクして顔の動きまで生成してくれる「HeyGen」「Creative Reality」等のデジタルアバター生成サービスが話題です
「スゴイ！！」→「でもこれ何に使えるの？？」という技術がまだ多い中、ビジネス等での実用性が高く、2024年注目株の生成AIサービスです
これを無駄遣いしてTHIS MANさんを喋らせます
現状、イラストを喋らせるのはほぼ破綻しますが、人間の写真に近い絵であれば成功率↑高↑です（実用化済みの顔認識技術がベースになっているっぽい）
予備実験でお布施しまくって成否の境界ラインは見えているので「たぶん行けるだろう」と判断して進めます
▼ 【STEP-１】まずGPT4で台本を生成
LLMを使った創作の基本「促して続きを書かせる方式（few-shot）」で生成します
古いネットミームには
詳しいですね
ここ一年でGPTは相当賢くなりました
でも一方でクリエイティビティがすっかり Nerfされてしまっているので、「恐怖」を増そうと具体的な指示をすればするほど、予定調和なテキストが出てしまいます
プロンプトエンジニアリングでしつこく自動生成を追求するのもありなのですが「怖さとは何か」という深遠な別テーマに引きずり込まれるので今回はパスする事にします
一番最初にラフにぶん投げてパパっと生成したセリフを採用、あとは制作しながらアジャイルに調整で行きましょう
▼ 【STEP-２】セリフ読みテスト
さっそくCreative Reality でテキストから生成した一発目がこちら↓
教育番組かな
ぜんぜん怖くないですね
さてどうするか
＜原因の仮説と対策＞
セリフが説明的→人力で口語に調整
発声が明瞭すぎる→日本語話者のモデルから英語話者のモデルに変更
アジャイルに調整した二発目がこちら↓
やはり不自然さを利用してホラーするという基本方針は合っていそうです
▼ 【STEP-３】AI・ローファイダビング｜最新音声AIで発声を不気味に劣化
先日のシリーズB調達でいよいよユニコーン企業になった音声AIサービスのEleven Labsがこちら ↓
トーク動画を一発で多国語化してしまう驚異のテクノロジー「Dubbing」という機能、こいつの弱点を不自然さの生成に利用します
みんなが驚くこの超機能ですが、日本語→英語→日本語とダビングを繰り返すと、かつてのカセット／VHSなどの磁気テープメディアのように、喋りが劣化していきます
この劣化を意図的に激しく起こして、しつこく繰り返すことでおどろおどろしさの生成に挑戦します
名付けて「AI・ローファイダビング」
延々と入出力ファイルが増えていきます
そして最終的に出来たのがこちら
↓
やった～、だいぶホラー👻な感じになりました
これで完成！
（ホラー系クリエイターの知人にも褒められました）
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
.
.
.
.
.
実験後の数日間、しつこく頭の中のTHIS MANが問いかけてきます
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
（これがTHIS MANの呪縛なのか）
実験の基本コンセプト「AIの生成結果からパパっとチェリーピッキングするだけ」から外れますが「AIでパパっとしゃべるTHIS MAN（AIスゲエ！）」の先を見たくなってしまった自分がいます禁断のAfterEffectsを立ち上げ、ここからはAIを利用しつつも自ら意図的に「ホラー演出」を加える冥府魔道に分け入る事に・・・
＜後半戦＞もっとホラーな目にあわせてやる！
▼【STEP-４】顔のゆらぎパターンを生成
Leonardo.AIでTHIS MANの変異体をどんどん生成するのだ！
▼【STEP-５】そのパターンたちも喋らせる
CreativeRealityでアバター動画のクローンを大量に生み落とせ・・・
▼【STEP-６】実験室で秘密の錬金術
だが・・・
このままでは「喋る生首」止まりだ
AfterEffects上で3Dレイヤー化して不安定なモーションを追加してやれ！（ChatGPTにエクスプレッションの式を書かせたりすると、きっと作業がはかどるだろう・・・）
▼【STEP-７】ホラーなV2V生成をチェリーピッキング
そしてその出力動画をおもむろに、誰も知らないAIサービスkaiberAIのVideo to Video機能につっこめ！
▼ STEP-8 完成
STEP-6と7をしつこく繰り返して、完成だ！
＜振り返り＞
カオス生成装置として生成AIを使う
未経験でも審美眼があれば作る側になれる
デジタルアバター ✕ 多言語化まわりがヤバい
▼カオス生成装置として生成AIを使う
制作の場面において「いい感じのランダムな状態」を実装するのは試行錯誤が必要で、エクスプレッションを使ったり、結局手付けでアニメーションしたりと、思いの外時間が溶けていくことが多いです
今回は方法論を試行錯誤したので時間がかかりましたが、単純な作業時間だけで見ると大幅に効率化できそうな感触がありました
▼未経験でも審美眼があれば作る側になれる
オカルトや超常現象コンテンツは子供のころからそこそこ親しんでいて、ユーザーとして採点辛めな方なのですが、クリエイターとしてはこっち系のコンテンツは作った事がありませんでした
生成AIの可能性への仮説「審美眼があれば作る側になれる」を体感できた気がしました
▼デジタルアバター ✕ 多言語化まわりがヤバい
数日間触っているうちに、Eleven LabsのDubbing機能がアップデート、自動翻訳変換が劣化する事象に対して手動で修正できる機能がついちゃいまして、これも逆利用する事で更におどろおどろしい喋り方を実現できました
まさに爆速開発を目の当たりにして、ホットな分野である事を実感しましたね
今年ビジネスするならこのアバター領域なのかも！
↓ 誰も知らない生成AI「Kaiber AI」の過去記事はこちら
↓ちゃんとしたElevenLabsの記事はこちら
X(Twitter)で
AIニュースをポストしています
フォロー頂けると嬉しいです！
note @note_PRで、AIの考察／検証／コンテンツ実験の眺めの記事を書いていますhttps://t.co/3ijSKrZdsE#note pic.twitter.com/mexlhvbudS
— psymen @AI CREATOR (@PsymenJ) March 14, 2024