ポーズ素材集とT2IAdapterで手軽に好きなポーズを取れるようにしてみた #Memeplex
「ControlNetが出たぞー!」という話があって実装したと思ったらその翌日にT2I-Adapterが発表されて全力で脱力し、しばらくやる気が起きなかったのだが、ITmediaの連載でも触れたように、AI用ポーズ集を作ったので、それをMemeplex上から検索してimg2imgまたはT2I-Adapterで好きなポーズや表情をベースとしてオリジナルキャラクターにポーズが取れるようにしてみた。
さすがにモデルさんとスタジオとスタイリストさんとヘアメイクさん雇うのに金かかっているので、ユーザーレベル3以降専用
使い方は簡単。
プロンプトのところで欲しい素材のキーワードを入力して「素材集から検索」ボタンを押すと素材集からそれっぽいものが検索されます。
ここの検索アルゴリズムはまだイマイチなので今後改善していく予定です。
次に、好きなポーズを選んだら、カスタムモデルを選択して「ポーズのみ引用(T2I)」をチェック。ちなみに今のところカスタムモデルでしか使えません。
これで自分のキャラクターを学習させたカスタムモデルを設定して作画させると、ある程度狙った通りの画像を手軽に得ることができます。
img2imgだと、ハイキックのようなポーズはおそらくもとの学習データにないので難しいことはよく知られています。
T2Iがあれば、今まで不可能だった格闘シーンも作ることができます!
これで五反田三郎の続きが描ける!(そのためかよ)
こぼれ話
ちなみに今回一番苦労したのは、トリミングでした。
タグづけは根性で自作ツールで一日で2000枚できたのですが、トリミングはどうしても自動化できず地獄でした。
なぜ自動化できないのかというと以下のように
モデルさん同士が離れたカットを横一で撮ると、どう頑張っても正方形に収まらないので、レタッチして二人を近づける必要があります。
また、調子に乗って縦位置で撮った写真に至っては、「どこを活かし、どこを捨てるか」という難問が立ちはだかります。こんなのAIに判断させるのは無理。
そして2000枚の地獄のレタッチ作業が始まったのです。
教訓としては、次回からハッセルブラッドみたいな、正方形で撮れるカメラのみを使うようにすること。
α7Sだと高速連写でローリングシャッター気味になった上に、画素数がちょっと物足りない。これは積層CMOSのα1に変えて、正方形モードで撮影することにします。あるよね?正方形モード
タグづけは1日、レタッチは暇な時間を見つけて新幹線の中とかカフェとか会議中とかにやりまくったのですが、めちゃくちゃ頭を使うので結局、一週間以上かかりました。地獄でした。次は絶対最初から正方形で撮る。約束だぜ。