DALL-E 3の新機能インペインティングで遊ぼう🎨

このアップデートは非常に画期的ですね！
この記事では、ChatGPT-4経由で作成された画像を、範囲指定して修正してもらえる新機能をご紹介するものです。
具体的に生成された画像内のオブジェクトを消したり、置き換えたりできるものです。

左側が、ChatGPTの中で範囲を指定したもので、
右側が、「虹を追加してください」で生成されたものです。

これまで生成しなおしてもらう際には、全体が大幅に変わる問題がありましたが、これで部分的に修正できるので利便性は大変向上します。

ただ、画風によってはあまり精度は良くない印象です。
上記の例のように、一部の結果は意図したものと雰囲気が異なる場合があり、使用する画風によって結果が合わない（馴染まない）ことがあります。
やはり得意不得意もあると思うので、その辺は使いまくって確認したいですね。

しかし、Photoshopなどのソフトウェアを毎回起動する手間が省けるのは、非常に便利です。

※つい先ほど知ったので、調べても正式名称がよく分かりませんが、ChatGPTに聞いたところ、ChatGPTのDALL-E 3で画像を部分的に修正する機能は「インペインティング」(inpainting)と呼ばれています。
と返してきたので、この記事内では一旦これで解説させていただきます。

やり方

何も複雑なことはないですが、これまで通り画像を作ってもらいます。
その後で画像を開くと、以下のようなUIで展開されます。

塗り絵を作ってもらってた時にこの機能を知った

画像を編集する領域を選択、のポップアップ上のボタンをクリックします。
後は、変更したい箇所をグリグリと塗りつぶします。

その後、左下にあるチャット欄にどうしたいかを入力すると、その選択範囲だけ再生成してくれます。

しかしこれ、イマイチChatGPT側がどういう認識をしているのかが分かりません。上記とは異なる例ですが、囲った後に「これを消して下さい」と指示を出しても、どこですか？と返されることもあったので、謎が多いです。

画像から削除したいオブジェクトを指定してもらえますか？

そこで、「クッションっぽいものを消して下さい」と再度言ったところ、以下画像の右側として出力されました。

左側：初回生成と選択範囲
右側：生成後の画像

消しゴムマジックレベルの使い道としては、かなり良いと思います。
次にオブジェクトを変更してもらいます。机の上にある植物っぽいものを選択して、砂糖入れに変更します。

左側：上記の生成後のものと選択範囲
右側：生成後の画像

リアルな質感のものはかなり精度が良いですね。
まだCGっぽさというか、AI感はありますが、こうして少しずつ修正していくと、かなり品質が良い画像が作れそうですね。

余談

塗り絵、というか線画ライクなものは、例えばNovelAIでも作れます。
「monochrome, line drawing, 」を入れてあげると以下のように出力させることができます。

しかし、こうすると完全にAIで創ったようには見えませんね

今はまだ、ものによりますがAIで創った！というのが結構分かりますが、本当に分からなくなる日も遠くないようですね。

DALL-E 3に話を戻しまして、こうして細かく違和感を修正していけば、AIか実写か区別をつけることが困難です。（全体的に謎のテカりはありますが。影が変とか。）

ChatGTPのDALL-E 3では、他の画像生成AIより細かく構図を指定することはまだ難しいですが、今後のアップデートで実装されると良いですね。
（そういう点ではNovelAIやStable Diffusion系は強いですね。）