見出し画像

LoRAと私とAI画像生成界隈

さも

自己紹介的なnote書かせて頂きます。なぜこのタイミング？みたいな感じではありますが後述する内容がその理由になります。
普段は人物メインの商業カメラマンとして活動しており、雑誌、広告、アーティストグッズ、Web記事などが主なフィールドで基本的に事務所に所属されている著名人を撮影することが多いです。カメラマン以外にレタッチャー、デザイン、編集者、企画ディレクター、プランナー、動画の構図サポート、ライトマン(照明提案)などもしています。
この「さも」のアカウントは本業の裏垢的な存在で使っていました。
ところがAI画像生成に出会いAIアカウントとして運用するにあたり状況が変わり今に至ります。

きっかけはAI神Tasukuさんのchilloutmixです。
もちろんそれ以前にAI画像生成は知っていましたが、実用レベルではないという理由でスルーしていてchilloutmixで使えるなと思い、知った翌日からStable Diffusionをいじり始めました。
何に使えるか？と思ったのかというと2.5次元舞台の撮影をしている関係でグッズ用の写真を撮るのですが予算が少ないところだと1背景のみでバリエーションが補えないという問題があり、その解決策としてAIが使えそうだなと思ったからです。

それからはリアル系をメインに試行錯誤し商用可能なAI利用を考えて日々研磨しております。そうした中でモデル本人に近い画像を生成するためにLoRAの技術が必須になっていきます。カメラマンとして十数年のキャリアがありますので素材はたくさんあります。
ただ冒頭に話した通り、著名人の画像が多いので肖像権、著作権の問題が発生します。
LoRAが作れるよになったタイミングで仲の良い事務所に相談し、モデル画像を利用したLoRAの研究を始めました。ですので商用目的のLoRA制作に関しては現状、誰よりも知識があると思っています。2.5次元舞台で商用で汎用的に使えるLoRAを含めたモデルデータを研究していたので。

同時に肖像権、著作権に関しても繊細に扱わなければいけない点を多分に含んでおり、安易に情報共有することは避けておりました。

また私はAI利用に関して、既存のタレントモデルさんのポジションを奪うような目的ではなく、タレントモデルさんに有益に働くような共存できる使用の仕方を模索しています。

最近のAI事情

カメラマンとして出版関係に繋がりがあるのでAI作品の動向に関して様々な情報を得ています。個人的にAI作品が作れるので某サイトで専用ページ作るから電子書籍を作って欲しいという依頼もあったのですが丁度モデルのライセンス問題が取り沙汰された時期だったのでストップしていたりします。出版業界的にAI画像生成は注目はしているけどまだ時期早々という雰囲気がありました。「個人がはしゃいでいるだけで商用としてはまだ改善点が多い。」というニュアンスです。先日、集英社の週プレからAI作品が出て話題になりましたが、6/7時点で取り止めになりました。個人的には「やっぱりダメだったか。」という感想。
週プレに関して言えば、過去の膨大な画像データからLoRAを制作して進めていたのだと思いますが、学習元のタレント事務所などへの確認作業が足りなかったのだと思います。勿体無いです。そこさえクリアしていればAI界隈がさらに活気付いたのに。

LoRA芸人なのでわかるのですが、さつきあいは「たぬき顔妹系」というコンセプトで様々な素材を元に制作していますと説明されてますが元になったモデルは数人に留まります。(むしろあの娘だろと特定されてましたが)
他にもツッコミどころが多かったですね。

最近のAI事情2

私はkindleグラビアをいくつか出版しているのですが、ランキングが明らかに変わりました。タレント写真集部門とアダルト部門にAI作品が多く占領してきています。
これを見た時に「あぁAIの時代が始まったなぁ」という感想と同時に出版関係者が想定していた「AI作品なんて今だけだよ」という嘲笑がありました。ところが3ヶ月経ってもAI作品は元気いいし、むしろ力を付けて来ています。「6ヶ月後には見飽きて廃れるよ」という見方がある様ですが私はそうは思っていません。それを象徴するようなやり取りがありました。
AI作品が誕生する前のkindle本で定期的に安定して小銭を稼げるコンテンツが存在していたのですが、今は完全にAIに持っていかれて売り上げが半分になったそうで今後はAI作品を作っていくという趣旨のLINEを受け取りました。
つまりもう無視できない存在になったんですよね。
今後controlnetやLoRAで様々なバリエーションのコンテンツが生まれます。初期に勤しんでいたクリエイターは引き続き研磨して後続が追いつけない技量があれば新しい収入源になり得るので頑張って欲しいと応援しています。

最近のAI事情3

ここまで話した内容からも分かる通り、AIクリエイターに大きな転機が訪れています。企業はAI画像を積極的に導入しますし、自社で専門部門も立ち上がっています。資金力のある企業はすでに技量のあるクリエイターを青田狩りするフェーズになって来ていると感じます。
個人的な感想ですが、本業がプログラマーや3DCG製作者で趣味でAI生成していている方には大きなメリットはなく、学生だったりフリーの方でAI生成に全振りできる方には転機だと感じています。

Loraについての考察

LoRA芸人なのでいくつか情報共有させて頂こうと思います。
リアル系人物LoRAに関しての案内になるのでそれ以外のイラスト系などは関係ありません。すでに人物LoRA製作者にとっては価値の無い内容かも知れません。

※重要
LoRA作成方法の案内はしませんのでLoRA生成に関して知識のない方には不要の記事になります。
人物LoRAは肖像権、著作権を多分に含むデータになりますので扱いは慎重に対応下さい。
同時に、人物LoRAに関しての質問、相談は対応しません。

私はAさんのLoRAを作る際に15枚程度の画像を学習に使います。
気を付けるポイント
同じ背景、同じ衣装、同じ髪型は3枚以上は不要。
裸に近い画像の方が汎用性は高い。
例えば特徴的なブランドの衣装を着たモデルさんを学習させた場合、その特徴的な衣装の影響が色濃く反映されてしまう。実例でいうと、学生服を着させたいのに変形学生服になったり、水着を指定したのに袖がついてる水着が生成されてしまう。

ポーズも生成結果に反映される。
シンプルな立ち写真だけではなく腕を上げたり、くねらせたポーズなどを学習させるとその影響下に置かれる。
例えばジョジョポーズばかりしている画像で学習させた場合、シンプルなプロンプトでも変なポーズを取りがちで逆にシンプルな立ち画像が生成されない。

背景情報も影響される。
15枚以上の画像で様々な背景の場合はその影響は薄まりますが10枚前後で特徴的な背景または同じ背景であった場合、キャプションにその情報を記載しても影響が出やすい。
例えば、教室を背景に色々なポーズ、衣装、髪型をして、さらにキャプションに教室と記載しても教室の影響が出やすい。

学習元画像のレタッチは重要
例えば、若い方なのにほうれい線が目立つモデルさんがいます。レタッチせずにLoRAにするとほうれい線がハッキリ再現されます。小さな黒子、あざ、シミはそんなに影響されません。不要なシワは削除して学習させた方が良いです。逆に老人をモデルにして老人を再現したい場合、シワは大きなアドバンテージになります。

レタッチのしすぎは注意
スマートフォンアプリで加工しまくった画像でLoRA生成するとモデル本人の構成が完全に消えます。LoRAの効果を感じません。(photoshopでのツルツル加工も同義です)

目鼻立ちがしっかりしてる顔は反映されやすい(整形顔など)
逆に目が小さい、糸目、一重は反映されづらいです。
顔薄い人も反映されづらい。美人なんだけど顔が薄い人はなかなか再現性低いです。
Chekpoint元のモデルデータのわかりやすい目鼻立ちが優先されます。

モデル本人に近づける方法
特徴的なホクロなどあるモデルさんは少し強調させるために加筆をして学習させると再現性が高いです。逆にホクロのないモデルさんにホクロを付けて学習させるとホクロが反映されます。目の下とか、唇の下とか。

モデル本人に近づける方法2
学習元になるデータですが、色々なシチュエーション、背景などたくさんあった方が良いのですが、本人写真ではあるものの本人の特徴を捉えていない画像は別人扱いになります。
例えば、ガッキーの写真でLoRA作ろうとしてもガッキーの特徴を捉えていない画像(=角度的に別人に見える)を学習素材に入れてしまうと本人再現性は弱まります。

肌の色
日本人は黄色人種と言われていますが、肌を白くレタッチした画像で学習すると色白になりやすいです。

整形顔で学習
整形顔のモデルだと本人に近いAIが生成されやすいです。マスピ顔とでもいうのでしょうか、AIと整形顔は馴染みやすいです。逆に個性の出やすさが10：0で、めっちゃ似てるか全然似てないかの極端になりやすい。

ノイズ問題
学習元のデータは低ISOでクリアなものの方が扱いやすい。
高感度ノイズは生成結果に影響され粒子が多い画像になります。
高感度ISOで撮影しノイズ低減でツルッとさせた画像で学習するとピントが甘い印象のものが生成されやすいです。
逆に高感度撮影でも描写が繊細だと綺麗に生成されます。

有料記事として
こうするとさらに本人に近づけやすいなど情報だったり、法の抜け道的な肖像権問題をクリア？できる情報だったりを高額な料金記事として考えていましたが悪用されAI画像生成の成長を阻害する可能性があると判断したので割愛します。
出すとしたら２万円くらいの予定でした。よっぽどの人しか買わない料金設定。

ちなみにTwitterのTL上で公開している作品は基本的に顔LoRAを使用していますが、プロトタイプもしくは改変バージョンで生成しています。じゃあお前の本気LoRAはさぞ凄いんだろうなと予想されますが微々たる差のものです。

テキストのみの記事ですが以上になります。
長文の見ていただきありがとうございました。
ちなみにトップ画面の美女たちは男性モデルLoRAから生成しました。
Twitter @samoHKP

この記事が気に入ったらサポートをしてみませんか？