"元画像＋テクスチャ画像＋シーン画像"で直感的に画像を編集するAIの「pOps」を試してみる
「pOps」はPhoto-Inspired Diffusion Operators（写真にインスパイアされた拡散オペレーター）の略語で、画像を編集するための新しい技術として発表されていました。
この技術では、画像に特定のテクスチャを追加したり、複数の画像を合成したり、形容詞で表現を変更したりできるらしく、他にもオブジェクトを特定のシーンに配置することも可能とのことで、工夫次第で色々と調整ができるそう。
pOpsの概要
pOpsは、画像の埋め込み空間で直接動作するセマンティックオペレーターをトレーニングするためのフレームワークとのこと。
(ここでの「セマンティック」は「意味的な」という意味で、画像の内容や特徴を元にした操作を指しています)
主要な5つのオペレーターがある
テクスチャリングオペレーター：
画像のオブジェクトに特定のテクスチャ（表面の模様や質感）を追加するもの
ex)普通の猫の画像に「木の質感」を追加して、木の彫刻のような猫の画像を作ることができる
ユニオンオペレーター：
二つの異なる画像を組み合わせて、新しい画像を作り出すもの
ex)猫の画像とバナナの画像を組み合わせて、猫がバナナを持っているような画像を作ることができる
シーンオペレーター：
特定のオブジェクトを指定された背景に配置するもの
ex)カップの画像を「ビーチの背景」に配置して、ビーチに置かれたカップの画像を作成する
インストラクトオペレーター：
形容詞で指定された特徴を画像に適用するもの
ex)普通の犬の画像に「とげとげしい」という形容詞を適用して、とげとげしい犬の画像を作る
コンポジションオペレーター：
異なるパーツを組み合わせて一つのシーンを作り出すもの
ex)シャツ、ズボン、靴の画像を組み合わせたファッションの画像を作ることができる
pOpsの動作原理
CLIP画像埋め込み： CLIPというモデルを使って、画像を特定の埋め込み空間に変換する。この埋め込み空間は、画像の意味的な特徴を保持している。
拡散モデル： 拡散モデルを使って埋め込み空間で画像の特徴を操作する。これにより画像に新しい特徴を追加したり、複数の画像を組み合わせたりできる。
画像生成： 操作された埋め込みから新しい画像を生成する。このとき、元の画像の特徴や意味を保ちながら新しい画像が生成される。
といったかんじの、画像をよりクリエイティブに、そして意味的に操作するための強力なツールなようです。さっそくいじってみたいと思います！
🌐プロジェクトページ類
DEMOを見てみる
２種類ありますが、上の段が元画像を入れて、動詞を設定して、テクスチャを用意するとそれを計算した画像を生成してくれるといったもの。
下の段は、元画像にテクスチャとシーン画像を入れて再計算した画像を生成してくれると言うもの。
これは直感的にいじれそうな雰囲気満載です！
実行命令とテクスチャ方程式を早速試してみる
早速やってみましょう！
アイスクリーム🍦を例にいくつか試したいと思います。
他にも試してみたいと思います。今度は🍌！
あ〜たしかに！と納得するようなものもあれば、ん？と思うようなものもあり。面白いです😆
実行テクスチャとシーン方程式を試してみる
次はtextも使わない、絵だけの計算の方式を試してみます。
次は白いシンプルなツボで試してみます！
試した感想
こうなるのね〜と納得するものもあったり、逆になぜこうなった？？となるようなものもあり。でもよく考えてみると連想される感じも分かったりする不思議な出力。
結論、結構楽しく遊べました！😆
色々なAIがありますね、遊ぶのに大忙しです！
今日はここまで〜〜〜（楽しかった）
この記事が気に入ったらサポートをしてみませんか？