見出し画像

(AIイラスト)controlNETの新Preprocessor「dw openpose」を紹介(stable diffusion)

キレネ・ブログも活動中です

こんにちは。こんばんは。キレネです。
今回は新たに登場したcontrolNETのpreprocessor「dw openpose」についてです。

紹介する内容

  • preprocessorとは

  • 以前のpreprocessor「openpose full」との違いを解説

  • 導入方法

  • ライセンスと商用利用について(本題)

の４点を話していきます。

初めに

今回紹介するdw openposeはブログでも紹介してます。
noteでは各紹介を増やし、ライセンスを中心に纏めてます。

・preprocessorとは

stable diffusionの拡張機能「controlNET」で、
画像を読み取るための設定です。

丸で囲ってる所です

dw openposeは、この「画像の読み取り」を従来のopenposeから大幅に改善した物となります。

以前noteで紹介した「openpose face」の記事で使わなかった項目ですね

・openpose fullとの違い

前の記事はopenpose fullは実写風の画像でしか表情（の白い点）を読み取れないため、２Dイラスト風がメインの自分は使わずに「棒人間を作って読み込ませよう」という内容でした。

dw openposeは実写風・２Dイラスト風を問わず幅広い画風から人物やキャラクターの顔、そして手足を読み取ります。

このようにポツンとしたイラスト風キャラクターでも
顔までかなり正確に読み込んでます

人のシルエットさえしっかりしていると10人程の集団でも読み取る事が出来ますが、例えば顔がいくつも並んだだけの物だと見落しやすいです。

手先が隠れた画像を読み込むとあらぬ位置に手を置いたり、
肩・肘・膝といった関節部分が服装や画面端で見切れたりすると変なポーズしたり、読み取りパワーがある分すこし暴れる所があります。

左肩の位置に左手が出来てます

dw openpose fullという名称なので
「人物の全体像の読み取りを２D、３D共に幅広く行う」方向に秀でる分、部分的に特化した読み取りは少し苦手な感じです。

・導入方法

※自己責任でお願いします
(追記)controlNETを最新版にアップグレードするだけでも導入されると聞いたので、先にcontrolNETの更新から紹介します。

stable diffusion Web UIを開き、ExtensionsタブのinstalledにあるCheck for updatesを押すとcontrolNETのバージョンアップがあるか確認できます。

青く選択してる「latest」の部分に☑が出たら、他の☑を外してcontrolNETだけを選び(重要)Apply and restart UIを押して再起動。再起動後にエラーが出た場合はWeb UI自体を再起動してください。

controlNETのPreprocessorにdw openposeが入ってなかった場合のために、Githubからインストールする手順を説明します。

上のGitHubのページを開き、下の画像のようにCodeから.gitをコピーします。

stable diffusion Web UIを開き、Extensionsタブのinstall from URLから
コピーした「.git」のアドレスを入れてinstallをクリックします。

InstalledタブからApply and restart UIを押して再起動し、controlNETを確認してみてください。

・ライセンスと商用利用について(本題)

ここまで紹介してきたdw openposeですが、機能面だけで見ると「改善したpreprocessorの１つ」ぐらいです。
ですがこの機能で最も注目すべき所は「技術ライセンス」です。

従来のopenposeはアメリカのカーネギー・メロン大学の持つライセンス「映像に映る人の身体や動きを棒人間として解釈する」映像キャプチャの技術が使われていました。
この技術は非商用利用は無料で許可されてますが、商用利用を行った場合2万ドルの支払い義務を課すデュアルライセンスとなってます。

NFTや販売・メンバーシップ特典、有料のAIイラスト生成サービス等が増えましたが、250万円以上を支払わされる危険を含むためopenposeはcontrolNETで「最も理想的な絵を作れる機能」で在ると同時に「最も躊躇われる機能」でした。

dw openposeは技術を一新し「Apache 2.0 license」に基づいて商用利用を可としています。
https://github.com/IDEA-Research/DWPose/blob/onnx/LICENSE

個人の販売や有償の活動に使えるのもそうですが、
stable diffusionを元にしたイラスト生成サービスはもちろん、他のAIイラスト生成サービス等、AIイラストの将来を大きく変えると思います。

dw openpose自体もface(顔)やhand(手・指)を中心に読み取り能力に長所を持たせた物が出る将来性があるので、これから先がとても楽しみです。

まとめ

機能以上に、技術としてAIイラストの今後を変えそうなdw openposeの紹介でした。
指が破綻した絵を入れて「指先の修正力」をお任せしたりと、機能だけでも応用が効いて面白いです。
使い方で何か発見が有ったらまた記事にします。

最後に

他にも衣装・衣服といったジャンル毎のプロンプト纏めを投稿してます。

個人ブログの方でもdw openposeを紹介してます。

この記事が良かったと感じた・お役に立ちましたらスキやコメント、SNSでの反応や拡散お願いします。記事を作る励みになります。

それでは、良きAIイラストライフを！

ギターを構えるピナフォア(Pinafore)服のアウファーちゃん

この記事が気に入ったらサポートをしてみませんか？