PixAIでLoRA作成

以前から告知があったのですが、本日24日よりPixAIでLoRAの作成が可能になりました。

メール登録しているユーザーはコストなしで一回トレーニングできます。
何を作ろうかと考える。
実は先日、ColabでまたミュージシャンシリーズLoRAを作ってました。
ポール・マッカートニーとボーイ・ジョージ

上段のようにフォトモデルで普通に出力するのもいいのですが、ピクサー調やHelloKid25Dなどにするとまた変わって面白い。
これは、ちょっとビートルズを4人揃えないとなぁ。

・・・という訳でリンゴ・スターをやってみる。

ドラマーのこの人です。

取り合えず、50枚ほど写真をつっこんでみる。
(数より質です。似せたいだけなら10～20枚でも大丈夫とは思います)

そして入力するパラメーターは、Colabと違ってほとんどありません。
どの位のステップ数を使うのか、さっぱりわかりません。
一度やってみるしかないですね。

ベースモデル

一番下の RealisticVision 以外はアニメ系です。
ちょっと偏りすぎじゃね？

LoRAタイプ

LoRAタイプを選択。
アートスタイルは画風、タッチです。
今回はリアルキャラを選びます。

トリガー

上の段はファイル名に使われる訳じゃなくタイトルになるだけ。
つめちゃいましたけど空白入れてよかったのだと思う。

下はトリガーですが、以前「すずきつづみ」を「suzuki tsudumi」で入れたら「スズキ」に反応して車が出てきたり、「boy george」などもboy自体が意味のある単語ですし、george harrisonとboy george なんて組み合わせになって名前が被るのも困ります。
ツールによって空白だかアンダーバーだかが使えなかったりもするので一語にまとめてしまっています。正直何が正解かわかりません。

トレーニング時間15分ほどでしたが、サービス開始ということで開始待ちに結構時間がかかり結局1時間位でした。
(後でダウンロードしてみたのですが、メタファイルがついてないのでトレーニング内容もわからず）

トリガーのみで出してみる。ネガティブはモデルを切り替えると自動で入るので面倒だからそのまま使います。

・・・ちょ、目がアニメみたいでヤバい。何で？
お約束の呪文 masterpiece, best quality ～ つけてみる。
あ、直った。ただの習慣となってるけど、この呪文、ちゃんと効果あるんだ。

チェリーピッキング(良い出来の物だけピックアップ)

顔が似てるのだけ選んでますが、個人的にはどうも感触が今一つ。

そしてPixAIでトレーニングしている間に、Colabではジョージ・ハリスンを
学習しておりました。

う～ん、やっぱりなぁ。
写真だと、ちょっとわかりづらいかもしれませんが、
例えば両者をピクサーモデルに変更すると・・・

右はリンゴなんです

さらにモデルをHellokid25Dに変えてみます・・・

だから右は誰やねん

う～ん、あくまでも初心者用といった所でしょうか。
それっぽい写真は作れますが、きちんと作りたいのであればやはり他で作った方が良いと思います。

※8月25日追記
Google Colabでトレーニングしなおしてみた

ChilloutMix、HelloKid25D、DisneyPixar

ステップ数や学習率の部分に踏み込むと底なし沼なので
あの位シンプルな方が取っ付きやすいのだと思います。

※9月4日追記

スタイルLoRA

まずはキャラクタLoRAのみ。
学習のベースモデルはAnything、出力モデルはDiamond

鬼太郎が可愛い

キャラクタLoRA＋スタイルLoRA、共にPixAIで学習。
学習のベースモデルはAnything、出力モデルはDiamond

※9月3日追記

メタデータ

ちなみにLoRAをダウンロードしてAUTOMATIC1111で読み込んでみますと
メタデータないんですよね。解像度や枚数、ステップ数などわかりません。
トリガーもわからなくなるので他で使う人はメモっておきましょう。

ちなみにSeaArtの方で学習したLoRAだとこのように、ベースモデル
データセット枚数、解像度、データセットで使用されているタグが出てきます。