記事一覧
「Prompt editing」でいろいろな服を混ぜて遊んでみる
プロンプトの書き方に[a:b:数字]って書いて「数字までのSTEPではAで、数字後のSTEPからはBを使う」という、Prompt editingという手法があります(英語wikiのココ）。
例えば「[male: female: 0.5]」だと総STEPの半分までmale、半分以降はfemaleとなります。0.5の部分はSTEPの実数でもいいです。仮に10と書けば「10STEPまではmale」
Ponyと派生モデルにおけるLORA学習の適性STEP数の話
最近、自分専用絵柄LORAをいくつか作ってたんですけど、どうも効きが「おかしい」。
妙に効きが甘かったり、逆に効き過ぎて人体構造が崩れちゃうんですよね…
設定は以前うまくいっていたものと同じ。素材の質もそんなに大きな違いがあるようにはみえない。
で、よく考えてみると、最近はPony本家だけじゃなくて軽くマージしたモデルを使うことも増えてたんですよね。両方併用するようになった。
効果の
プロンプトだけで複数人イラストの衣装や髪型を描き分けてみる。
複数人の髪型や服の色などの描き分けは、きっちりやるなら regieonal prompter などを使う必要があるのですが、大まかに描き分ける程度であれば、プロンプトだけでも対応できます。
やり方を知っておくと、イラストガチャで「女の子が全員同じ顔がやだ」とか「服装をバラバラにしたい」という場合に役に立つと思います。
なお使用環境はSDXLのPony系列モデルです。
画風LORAのクオリティアップを図って試行錯誤してみた
漫画のような白黒キャラ設定画っぽいものを集めて画風LORAを作りました。
まずまずの出来だったのですが、もう少し詰められそうだったので調整しつつクオリティ向上を狙ったのですが、これが中々難しかった。
最終的には満足のいく出来となったので、その方法を簡単にレポートしておきます。
なお、今回は権利的なものに配慮してサンプル出力はありません。御了承ください。
ダイナミックプロンプトで、イラストに好みの要素をランダムに組み込む
webui1111の拡張機能に、プロンプトの自由度を大幅に向上させる「Dynamic Prompt」というものがあります。
主な機能は下記の通り。
テキストファイル内に羅列したプロンプトの中から、ランダムに一つ（一行）を選択する。
プロンプト内で複数の単語（文章）を羅列して、ランダムに一つを選択する。確率設定も可能。
ファイルの中からファイルを呼び出す「多重ランダム構造」にもできる。
簡単なモデルマージで、Ponyの絵柄をスッキリさせつつ構図力も維持したい
以前、ここのnoteで書いたのですが、SDXLのモデルの「Pony」は「他のモデルでは出ないポーズや構図が出せる」ことで人気を集めていますが、一方で「絵柄が濃い目でかつ構図やタッチが安定せず、イメージしたイラストを出すのが難しい」「構図力がありすぎて人体崩壊しやすい」というデメリットもあります。
この「絵柄が濃い・安定しない」というデメリットを解消するのが、ebaraや7thなどのPony系
プロンプトで出せる髪型いろいろ
髪型プロンプトを簡単に調べてみました。
髪型に関するタグを羅列して、xyzプロット使って一覧出力してみました。
以下メンバー向けの記事となります。
タグと出力サムネイルを載せているだけなので、「髪型タグにとても興味がある！」とかで無い限りは、拍子抜けするかもしれません。
単体購入の際は御了承のほど、よろしくお願いします。
SDXLのモデルを多重マージして自分好みのオリジナルマージモデルを作る
SDXLのモデルマージ事情
Pony Diffusionのモデルマージをいろいろ試したときのメモです。
Ponyの特徴は「人体ポーズ（おもにエッチ系）で出力できるバラエティが非常に豊富」という強烈なアドバンテージがある一方で、「絵柄が西洋風の濃いタッチ」「背景が弱い」といったデメリットもあります。
これらのデメリットを補う手段の一つが「モデルマージ」です。
モデルマージを行うことで
日焼け跡がまぶしいLoRAを作ってみた
日焼け跡LORAをつくりました。まぶしいは誌的な表現で、実際にはとくにまぶしくさせたりはしてませんごめんなさい。
oilyとかshiny skinでテカテカするかもしれません。
日焼け跡自体はpromtpでも出せるんですけど、焼け方がめちゃくちゃなラインになることがあって、構図は良いのに焼け跡がダメだからやり直しってのがイラっとしてLoRA化して安定させることにしました。
幸い、学習素材はSD
ノイズ法XLでイラスト生成したので、気づいたことをまとめてみた。
先日、noteで下のような記事が公開されていました。
AIイラストでの描き込みを増やすための「ノイズ法」というテクニックの解説です。素晴らしい。
ノイズ法は、画面を花が埋め尽くすような圧倒的な描き込み量が特徴ですが、同時に通常のイラストでもディテールの描き込みが緻密になるという効果もあり、かなり汎用製の高いテクニックといえます。
自分でも実際に試しましたが、出てくるイラストが今まで以上
つり目LORAを作ってみた
つり目キャラを愛でたくなったのですが、表情やキャラ属性を無視して、「つり目属性だけ」をプロンプトで出すのは出すのはわりと難しい。
というわけでつり目LORAを作ることにしました。
やり方としては、コピー機使ったスライダー型かつり目イラストを普通に学習するかの二択。
目の場合、目の形そのもののバリエーションが多く、「スライドさせる元の物」が曖昧なので綺麗に効かないような気がします。
一
少ない素材で手間をかけずにオリキャラLORAを作ってみる
AIでイラストが簡単に生成できるようになったことで、絵が描けなくても自作の小説やゲームなど、さまざまなシーンで挿絵イラストを利用できるようになりました。
そこで問題となるのが「AIイラスト生成では、同一人物を指定して難しい」ということ。プロンプトだけで特定人物を出し続けるのはほぼ無理で、どうしてもという場合はLORAとかCONTROLNETでの補助が必要です。
そこで今回は、LORAを使っ
「DORA」と「LoRA plus」による短時間でのLoRA作成
「LoRAを短時間で作りたい！」ということで、いろいろ試してみました。
自分の最近のLoRA作成のメインストリームは「loha-Prodigyの組み合わせで4000～5000STEPぐらい」です。
うちのGPUは3600Ti-12GB。これでだいたい250STEPで20～30分ぐらいかかるので、4000STEPだと6～8時間、5000STEPだとざっくり7～10時間ぐらいかかります。長い。
PonyDiffusionで生成したイラストをSD1.5モデルでi2iしてクオリティアップ
i2iを利用すると、構図と仕上げを別のモデルで行えます。
この手法を利用することで、構図に強いPonyでベースのイラストを出してから、背景やディテールに強いSD1.5モデルや人物描画に定評があるAnimagine系で仕上げることで、イラストの総合的なクオリティアップが可能となります。
WEBUIで行う場合は、1枚目のイラストをt2iで出して、それを別途i2iに掛けます。
少し手間がかかる
PonyDiffusionV6で絵柄をできるだけスッキリさせるための方法論
SDXL界の2大巨頭といえば「Pony Diffusion」と「Animagine」。
Ponyさんは「えっちい構図が異常なまでに上手いが、似たような絵柄を安定して出すのが難しいクセ強モデル」という特徴を持っています。
そのクセの強さゆえに、ねらった絵をうまく出せずに使うのを止めた人も多いはず。
また、Ponyベースで安定性向上かつ絵柄が日本人好みな派生モデル（momoiroとかAuti
コントロールネット:セグメントを使って重なり合う人物を描き分けよう
AIイラスト生成は、複数人の絡みを描くのが苦手です。
AIは人体構造を理解しているわけではないので、複数の手足が絡みあってしまうと、なにがどうなっているのかという理屈を無視して「それっぽく」描いてしまいます。
なので、人間からすると出てくるはずがないところから手足が伸びてくるし、腕や足がズレて描かれることがあります。
そんなわけで、プロンプトで人と人が抱きつくようなイラストは難度がかな