![見出し画像](https://assets.st-note.com/production/uploads/images/107075849/rectangle_large_type_2_48aada975a4e141bf72ee8d0a72ce873.png?width=1200)
(AIイラスト)controlNETv1.1・openpose_faceについて色々(stable diffusion)
こんにちは、こんばんは、キレネです。
今回はcontrolNETのv1.1で追加されたopenposeの顔・表情の読み込みについて、今のところ試して分かった事を纏めてます。
専門的な知識は無いのと、普段と文章の作り方が違うから試行錯誤してます。それでもよければよろしくお願いします
初めに、openpose_faceとは
「人の顔、もしくはリアル寄りの絵をcontrolNETが読み込んで、白い点を配置して表情を出力する」
![](https://assets.st-note.com/img/1685607851112-j8TTUN4CQS.png?width=1200)
controlNETv1.1についての記事だと、openpose_faceについて解説されてた内容は大体がここまででした。
ではこの白い点は何か、という所から
顔を読み取るランドマーク検出
自分が解釈した範囲での説明になりますが、カメラ等の機械が人の顔の輪郭やパーツに白い点を割り当てて検出し読み込む「キャプチャの読み取り技術の一種」です
![](https://assets.st-note.com/img/1685608246213-9p1yxa8iLN.png?width=1200)
・赤い線:頬から顎のラインを表す17個の点。顎先にある白い点を中心軸とし、左右それぞれに4個の点で下顎、もう4個の点で頬から耳に掛けての輪郭を読み取った計17個の点で構成
・紫の線:縦の点4個は鼻のスジ。横の点5個は鼻の先端から鼻の下に掛けての輪郭
・緑の線:目の輪郭、目つき、目の開き具合を表す左右6個の点。縦に広げると目の開き具合が強くなり、目尻の点は上げたり下げたりする事でツリ目・タレ目になる。
目を閉じると上の点2つと下の点2つが重なり点は4個になる
・黄色:眉毛をなぞった左右5個の点。
眉間に一番近い点と、次に続く点との角度の付け方で眉毛の形が出る。眉や眉間をツリ上げたりタレ下げたりする。
・青色:口、唇、口の開き方や輪郭。あいうえおの口角を表す
・オレンジ色:歯並び、もしくは口と口内の境界を指す上下3個の点。口を閉じると上下3個づつの点は重なり3個になる
![](https://assets.st-note.com/img/1685610014908-bLfn9hAelk.png?width=1200)
※自分の認識なので、技術解説として誤りがあるかもしれません
ランドマークを作ってみる
自分は普段イラスト調や2Dがメインで、リアルフォト系や3Dはやってないので「Preprocessor」を使った表情の読み込みは使いません
![](https://assets.st-note.com/img/1685697997930-v16hd7I2bK.jpg?width=1200)
なのでココではPreprocessorのopenpose_faceの画像読み込みは飛ばして、モデル参照の「openpose」に読み込ませるランドマークと白い点を自分で何処まで作れるかやってみます。
まず何かしらでopenposeを読み込ませて生成します。
![](https://assets.st-note.com/img/1685611346365-98gfNJ9TQT.png?width=1200)
生成した画像を下敷きにして白い点を付け、口を開いたりと変化を付けてみます
![](https://assets.st-note.com/img/1685612172142-ywIkOzsV9u.png?width=1200)
![](https://assets.st-note.com/img/1685612022500-BdSjC2Iml4.png?width=1200)
口は認識してますが、眉毛は自分の組み方が失敗してますね。更に調整と変化を加えてみます
![](https://assets.st-note.com/img/1685612836687-iahgrJ4Pys.png?width=1200)
openpose棒人間はそのままでも、正面顔から少し横を向いた顔になりました。
こうした僅かな顔の向いてる差ってだいぶ絵の印象が変わるので、クオリティを詰めるには結構大事かもしれませんね。
controlNETのinpaintも併せる事で、より的確な顔の修正も出来ます
棒人間を消して白い点だけにした場合
「ランドマークだけでも機能するのかな?」と疑問に思い検証
![](https://assets.st-note.com/img/1685623309576-N4V69dphfO.png?width=1200)
眉毛と口は位置がズレてて認識されてませんが、おおよそは反映されるようです。
横顔はどうなのか
プロンプトに((profile))と入れて横顔っぽいランドマークを作成。
![](https://assets.st-note.com/img/1685624363635-0D44tDVQzw.png?width=1200)
白い点の数を減らしてみる
「少ないランドマークでどの程度なら認識するのか」と気になって試してみました。
顔や体の向きのプロンプトを消して、鼻と顎の輪郭だけを横顔風にします
![](https://assets.st-note.com/img/1685624948811-GE4flKrmrC.png?width=1200)
ビックリしましたね。
左の画像に真ん中のランドマークを読み込んで横顔へと変化させてるの、予想より読み取り能力が高かったです。
点ですらない場合
「点ではなく、白い線だとどうかな?」と繋げてみます
![](https://assets.st-note.com/img/1685625546591-sEnYM4O4VF.png?width=1200)
「これも顔として読み込もうとしてる!?」
controlNETの凄さを改めて思い知りました
まとめ
口は線だとうまくいきませんでしたが、それ以外は線でもこれほどに読み込んでくれてます
![](https://assets.st-note.com/img/1685626020317-w8yjLxUIKv.png?width=1200)
controlNETの他の機能と比べると「openpose人形で十分」「印象が薄い」「後続の新機能に埋もれてる」と思ってましたが、使ってみるとパワーと可能性を感じましたね。
普段は衣装・衣服といったジャンル毎のプロンプト纏めを投稿してます
たまに今回のような記事も投稿するかもしれません。
この記事が良かったと感じた・お役に立ちましたらスキやコメント、SNSでの反応や拡散お願いします。記事を作る励みになります。
それでは、良きAIイラストライフを。
![](https://assets.st-note.com/img/1685631059495-NqsFUmGX1N.png?width=1200)
この記事が気に入ったらサポートをしてみませんか?