StableDiffusionの水彩拡張を作りました

水彩画に特化したStableDiffusion拡張（LoRA）を公開しました。 HuggingFaceからダウンロード可能です。SD Ver1.5 / 2.1用です。

HuggingFaceで公開。

fladdict/watercolor · Hugging Face

全部パブドメ画像でトレーニング

こちらのLoRAは、1900年台までのパブリックドメインの絵画でトレーニングしました。約500枚の絵画を、目で品質検査し1つ1つハンドピックで集めました。

作家名は未使用

なお「特定の画家の画風をコピーすることには、まったく興味がない」ので、学習データに作家名は含めていません。↑の絵はT.W.Turnerを、↓の絵はRembrandtを指定してますが、ほぼガン無視されているのがわかると思います。

これは自分のAI運用のスタイルが「自分の筆や画材を作ること」という方向のためでもあります。むしろ作家名があると、その作家の表現に縛られるのであえて外してます。

作家名でとりだせない分、潜在空間がエンタングル（もつれてる）な感じなので、各人が工夫してオリジナリティのある絵を模索できる（はず）です。

LoRAの使い方

Automatic111のLoRAの使い方そのものは、こちらなどから。

https://note.com/mayu_hiraizumi/n/n384dca862ba2

基本的な使い方

描きたい被写体に応じて、ウェイトを0.2 - 1.0ぐらいのレンジで調整してください。（アニメ絵とか1900年台にない概念は、ウェイトを少なめにする）。写実系の水彩もウェイトを少なめにするほうがよいです。

一般的な水彩画

いわゆる水彩画は、watercolor paintingというキーワードを、プロンプトの先頭にいれてください。

水彩画にしたいとき
watercolor painting

印象派絵画

あわせて impressionism というワードで、ある程度まで印象派っぽいタッチも対応可能。印象派にすると、物体の形状がラフになるので、そこは detailing や photorealistic などのタグでバランスを取ってください。また dramatic lighting といったタグも印象派の特徴を強く押し出します。

印象派の水彩画にしたいとき
impressionism, watercolor painting

ペンタッチの追加

いわゆるスケッチ系のペンや鉛筆タッチを追加したいときは、あわせて　drawing というタグを追加してください。

鉛筆画やペン画のニュアンスを加えたいとき
watercolor painting, drawing, 

今後の予定

需要とか情熱があったらば、表現の幅を増やしていきたいと思います。（誰かデータセット作るの手伝ってください）。

• 表現主義（Expressionism）への対応。

• 現実主義（Realism）への対応。

• 野獣派（Fauvism）への対応。

• シュール・レアリズムへの対応