![見出し画像](https://assets.st-note.com/production/uploads/images/106145311/rectangle_large_type_2_c71df54be643bf3c4924df3ad77d3cb4.jpeg?width=800)
【AIアニメ】Loraによるキャラクターデザイン固定を試す
*AI anime: フレーム補間まばたきテスト2 (mp4) #FILM #AIart #stabledifussion pic.twitter.com/VZQsFQuIHo
— Baku (@bk_sakurai) May 21, 2023
前回のアニメーションではAI生成した画像をベースにしたが、実際にストーリーアニメを作るなら、キャラクターデザインの一貫性を維持する必要がある。
ひとまずオーソドックスにLoraによるキャラデザ固定を試す(ただし、現在はControlNetだけでもかなり固定できるとのこと)。
今回は、AIマンガの試作用にVroidStudioで作成した3Dモデルを流用して、データセットを準備した。
LoraモデルはGoogle Colabで手軽に作成できる。画像データは十数枚でもいいらしい。Colab無料版で20分弱で学習が完了した。
![](https://assets.st-note.com/img/1684668890095-OO0M3Nmvvf.png?width=800)
よく分からないまま、Loraの適用度合いをWebUI上で調整。
Loraを強くすると、学習画像ほとんどそのままになる。さすがにVroid感が強いので、もう少しアニメ風にしたい。
![](https://assets.st-note.com/img/1684667040797-GUIHKedE1n.jpg)
Loraを弱くしすぎると、学習画像の特徴が薄れる。
![](https://assets.st-note.com/img/1684667104755-OlnPiArg0l.jpg)
バランスをとって調整。
![](https://assets.st-note.com/img/1684668292652-MAQbH0lThg.jpg)