Stable Diffusionのreference onlyが難しい

Stable Diffusionのreference onlyで写真の服をイラストに落とし込もうとしたんですけど、なかなかうまくいかないですね。
いろいろ情報見てみたら、再現したい服をプロンプトで指定しておかないと、reference onlyはあまり上手くいかない感じかなと思いました。

i2iでは写真をイラストに変えることが出来ますが、他のポーズを取らせたりしたいので個人的には物足りない感じですね。

それと、i2iで写真をイラストにしようとするとあまりキレイにならないことが多くて困ってます。何かいい方法がないか探そうと思ってます。