![見出し画像](https://assets.st-note.com/production/uploads/images/107593019/rectangle_large_type_2_c9acd10f99f34adfbf2a806ddf121e72.jpeg?width=1200)
ControlNetの光源及び陰影学習
結論からいいます。陰影は覚えました。光源は覚えませんでした!あとepochはこのデータセットと用途だとepoch30位がよさそうでした完!!!!
と言って全てを投げ出したいのですが、あまりにも投げやりなのでデータを提示しましょう。
データセット
クンストパラスト美術館の3Dモデル(CC0)を1万枚レンダリングしたもの
(前回の記事参照)
epochs数の検証
結果30位がよさそう
AIにCC0の彫刻で光源と陰影を学習させる実験。
— とりにく (@tori29umai) June 6, 2023
30epoch,40epoch,50epoch,元絵 pic.twitter.com/SAWDsSS9uc
AIにCC0の彫刻で光源と陰影を学習させる実験。 30epoch,40epoch,50epoch,元絵
— とりにく (@tori29umai) June 6, 2023
AIにCC0の彫刻で光源と陰影を学習 pic.twitter.com/n3bwZPihrN
AIにCC0の彫刻で光源と陰影を学習させる実験。 30epoch,40epoch,50epoch,元絵
— とりにく (@tori29umai) June 6, 2023
線画によって適した学習モデルが変わってくるな!?!? pic.twitter.com/yeD61rDU4S
光源の学習
結果:できていない
やはりわかっちゃいたが光源の学習は一切していないな(つらい
— とりにく (@tori29umai) June 7, 2023
となると光源の位置はモデルごとに固定して、モデルを使い分けていく方が使いやすいかもしれん。 pic.twitter.com/tKr4MkOZvu
control_v11p_sd21_cannyとの比較
結果:用途によって使い分けできそう
canny,30epoch
— とりにく (@tori29umai) June 7, 2023
うううううううーん、この結果をどう受け止めるかだなぁ
実際、厚塗りの下地にするならどっちがいいだろう。 pic.twitter.com/iMH02NXh5I
canny,30epoch
— とりにく (@tori29umai) June 7, 2023
自作モデルの意味はあるかな? pic.twitter.com/WfAft0cikb
まとめ
本当はcannyより優れた陰影モデルを作れました!と発表したかったのですが、そう上手くはいきませんね。
おそらくデータセットの内容(彫刻)とイラストの相性も影響していると思います。
光源の学習は一切できていないので、次チャレンジするなら光源の位置を固定して、モデル毎に順光、逆光、サイド光(左右)のモデルを4種類作ってみると面白い結果が得られるでしょう。
以上!!!!!!!!!!!!!!!!!!
この記事が気に入ったらサポートをしてみませんか?