見出し画像

Live - 2023/09/15 Adobe Firefly の「プロンプトを探求する」ライブ配信

今週末は、正式版になり商用利用も可能になったAdobe Fireflyのプロンプトエンジニアリングの探求です。

MidjourneyやStable Diffusionで体系化されたプロンプトエンジニアリングのノウハウをFirefly用にカスタマイズしていきます。現在、世界中のFireflyユーザーがプロンプト探求に取り組んでいますので、数ヶ月程度で「誰でも参照できる」プロンプトのモジュール/テンプレートが公開されるでしょう。


13日〜14日の情報は以下のページにまとめています



Adobe Fireflyの表現力

Fireflyには、MidjourneyのAesthetic Systemに相当する仕組みがないため、生成イメージの表現力は「荒削り」で、テキストプロンプトで意図した画像を生成するのに相当数の試行錯誤が必要になります。

ただ、リファレンス(参照画像)を設定してバリエーション展開する方法なら期待したイメージに近づけていく時間を短縮することができそうです。現時点で最も有効な方法だと思っています(※今後の機能追加や仕様変更で変わる可能性があります)。

以下は、リファレンスとプロンプトのバランスを調整しながらバリエーションを作成し、意図したイメージに近づけたものです。

リファレンス設定を利用すれば、Adobe Fireflyでもフォトリアリスティックな表現が可能
Fireflyによるファッションモデルの生成
コンテンツタイプの「アート」を適用して芸術的な要素を強調


Adobe Firefly のパラメーター

Fireflyの「テキストから画像生成」画面には、「縦横比」「コンテンツタイプ」「スタイル」「色合い」「ライト」「構図」のメニューUIが配置されており、プロンプトに付加できるようになっています。

これらのパラメーターがどの程度、影響するのか検証する必要がありますが、今のところ「期待どおりに適用される」のは一部です。
まだ、検証が足りていないので傾向をつかめていませんが、高確率で影響するパラメーターは限定的という印象です。

コンテンツタイプの活用例:

左のコンテンツタイプは「なし」、右は「アート」
「アート」を適用した画像はヴィンテージ加工に近いイメージになっている




Fireflyプロンプトエンジニアリング検証


Adobe Firelyで生成した画像の著作権について

Adobe Firelyで生成した画像に著作権が発生するかどうかはまだ明確な答えはないのですが、無加工の生成画像の場合は「著作権は発生しない」と考えられています。つまり、その生成画像は誰でも自由に使用することが可能になります。例外としては、自分の過去の作品をAIに学習させて生成した場合です。二次的著作物と認められる可能性があります(Adobe FireflyにはまだAIトレーニングの機能はありません)。

文化庁セミナー講義資料の57より引用:
https://www.bunka.go.jp/seisaku/chosakuken/pdf/93903601_01.pdf

AIが自律的に生成したものは、「思想又は感情を創作的に表現したもの」ではなく、著作物に該当しないと考えられます。
(例)人が何ら指示※を与えず(又は簡単な指示を与えるにとどまり)「生成」のボタンを押すだけでAIが生成したもの
※プロンプト等

文化庁・令和5年度著作権セミナー「AIと著作権」

私は意図したイメージを生成するために、試行錯誤を繰り返してプロンプトを考えていますが、そこにどれだけの創意工夫があるかは判断できません。
生成画像に何らかの処理を加えない限り、著作権は発生しないと思われます。ただ、どの程度の処理を加えればよいかは個別の判断になりますので、商用利用では暫定的なガイドライン策定が急務かと思います。

文化庁が6月19日に開催した著作権セミナー「AIと著作権」のアーカイブがYouTubeで公開されています。「AI生成物は「著作物」に当たるか」は、47分27秒から解説されていますので、ぜひご覧になってください。

参考:



以下のプロンプト検証の続きは「Live - 2023/10/14 Adobe Firefly の「プロンプトを探求する」ライブ配信」をご覧ください!


1. 対象

人物、動物、キャラクター、場所、物など


2. 行動

 歩く/走る、座る/立つ、振り返る、踊る、闘うなど


3. 環境

屋内、屋外、水中、月面、サイバーシティなど


4. 媒体

写真、絵画、イラスト、彫刻、落書き、タペストリーなど

写真

Fireflyには、MidjourneyのAesthetic Systemに相当する仕組みがないため、テキストプロンプトだけでは難しいかもしれません。リファレンス(参照画像)設定による絞り込みが有効です。
少々高度な生成方法になりますが、Fireflyでも写真表現は可能です。

年齢と髪の毛の色以外は同じプロンプトを使用している
女性モデルのポートレートと東京の街を歩く男女モデル
女性モデルとアーティスティックな男性モデル

イラスト(キャラクター)

以下のようなイラストはテキストプロンプトで生成できますが、Fireflyの画面右側に配置されている「スタイル」との併用が有効です。

ベクターグラフィックとブラシ描画のイラスト

イラスト(漫画アニメスタイル)

日本の漫画およびアニメスタイルの表現はかなり難しいです。現時点では、ほぼ不可能と考えてよいと思います。このカテゴリーのスタイルを探求したい方は、Stable DiffusionやMidjourneyのNijiモデル等をお奨めします。

漫画イラストのような表現はかなり難しい

イラスト(フラットイメージ)

ベクターグラフィック風のイメージはテキストプロンプトで試行錯誤するより「スタイル」の組み合わせで容易に表現することが可能です。また、全身像は縦横比をワイドスクリーンにすることで生成しやすくなります。
この生成方法は、Fireflyに実装予定の「Text to Vector(ベクターグラフィックの生成)」にも応用できると思います。

スタイルは「ベクター風」「フラットカラー」「カートゥーン」「太い線」「シンプル」
縦横比を「ワイドスクリーン(16:9)」にすると全身像を表現しやすくなる

ペーパークラフト

折り紙や紙細工の表現は、Fireflyの画面右側に配置されている「スタイル」との併用で容易に表現することができます。初心者でも気軽に試すことができるレベルです。

トラのペーパークラフト風イメージ
ライオンのペーパークラフト風イメージ
スタイルなしの生成

鉛筆画

鉛筆画の表現は、テキストプロンプトによる指示でも、スタイル選択(「鉛筆画」スタイル)でもほぼ同様の結果になりますので、難易度は高くありません。

右の画像のように人間を含む頻度が高い

3DCG

以下のような3DCG風キャラクターはテキストプロンプトで生成できますが、Fireflyの画面右側に配置されている「スタイル」との併用が有効です。

3DCG風のアニメキャラクターとリアルなゲームキャラクター


マテリアル

マテリアルは、テキストプロンプトだけで容易に生成することができます。再現性も高いので最も実用的と言えるでしょう。

アルミニウム・ブロンズ・ニッケル
木製・クオーツ・皮革
コットン生地・Cotton Fabrics・サテン生地
織物・紙・シワのある白い紙
プラスチック・光沢のある黒いプラスチックの板・レンガ
段ボール・ホイル・シュリンクラップ


5. 構図

クローズアップ、ローアングル、ハイアングル、広角、マクロ、鳥瞰図など

ノーリングやアイソメトリック

ノーリング写真はテキストプロンプトだけで容易に表現できますが「knolling photography」のみ英語で書いた方がよいかもしれません。日本語の「ノーリング写真」だと全く異なる画像を生成することがあります。

「knolling photography」のみ英語で

ステッカーコレクションもテキストプロンプトで表現できます。縦横比によって密度などが変化します。

スタイルの「ベクター風」「カートゥーン」を追加

アイソメ図は、スタイルの中にある「アイソメトリック」を選ぶだけなのでとても簡単に表現できます。スタイルの効き目が弱い場合は、プロンプトに文字で「アイソメトリック」を追加すると影響力が増します。

スタイルの「アイソメトリック」を追加

カメラ設定

追加中です

AIモデルを上から撮影
AIモデルを下から撮影
AIモデルの全身を広角で撮影
AIモデルの横顔を撮影


6. 天気/照明

ソフト、アンビエント、曇天、ネオン、スタジオライトなど


7. 色調

鮮やか、淡い、明るい、単色、カラフル、白黒、パステルなど


8. 気分

落ち着いた、穏やか、騒々しい、元気など


9. 時代

1900s、1960s、60s、90s、中世、明治時代など





基本情報:

Adobe Firefly(Web)の「テキストから画像生成」画面はとてもシンプルです。左側に、生成された4つの画像とプロンプト入力ボックス、右側に「縦横比」「コンテンツタイプ」「スタイル」「色合い」「ライト」「構図」のUIが配置されています。

生成された画像にマウスカーソルを合わせるとアイコンやボタンなどが表示されます。右上には、お気に入りに登録するアイコンとアウトプットに関するアイコンがあります。左上には「編集」ボタンがあり、Fireflyの機能やAdobe Expressの機能を選択できます。
尚、Adobe Expressの機能を選択すると、新規ウィンドウが開いてAdobe Expressのページを表示しますが、「生成塗りつぶし」を選ぶと、現在のページから「生成塗りつぶし」のページに切り替わるので注意しましょう。

今回は「似た画像を生成」と「参照画像に設定」を頻繁に使用することになりそうです。

参照画像に設定

「編集」のメニューから「参照画像に設定」を選択すると、プロンプト入力ボックスにプレビューが表示され、クリックするとポップアップが表示されます。参照画像とプロンプトの影響力の割合はスライダーバーをドラッグして決めます(何度でも実行することができます)。

参照画像の影響力が強い

プロンプトの影響力が強い

使用例:

Fireflyの場合、フォトリアリスティックな(写真と区別しにくいリアルな)画像は、テキストプロンプトの試行錯誤では難しいので、リファレンスを取り替えながらイメージに近づけていく方法で試してみました。

リファレンス(参照画像)とプロンプトの割合を調整しながら生成
意図したイメージのバリエーション
リファレンスの影響力を強めたバリエーション


Adobe 生成 AI ユーザーガイドライン

Adobe Fireflyは、クリエーターが仕事等で安全利用できるように、著作権侵害や肖像権侵害が発生しないように配慮されていますが(有名人や人気キャラクターなどは生成できない等)、完全ではありません。生成した画像が問題ないかどうかをチェックする習慣を身につけてほしいと思います。

この生成 AI ユーザー ガイドライン(「本ガイドライン」)は、お客様がアドビの生成 AI 機能を使用する場合に適用されます。さらに、お客様とアドビとの契約にアドビ基本利用条件adobe.com/go/terms_jpに掲載)が適用される場合、お客様によるこの生成 AI 機能の使用については、Adobe 生成 AI 追加条件adobe.com/go/adobe-gen-ai-addl-terms_jpに掲載。これは参照により本ガイドラインに組み込まれます)も適用されます。

Adobe 生成 AI ユーザーガイドライン


今回の作業環境

現在は、MacBook Pro (M1)を使用していますが、移動中や外出先ではiPad ProでFireflyを使っています。
FireflyはWebアプリなのでスマートフォンでも使用できますが、かなり重たいのでイライラします。iPad Proでも快適とは言えませんが、画面が広いので生成画像の品質チェックには便利です。
Fireflyの生成時間は速いので、外出時の空き時間でもストレスなく試行錯誤することができます(Wi-Fi環境が良好なら)。

外出先ではiPad Proで作業



更新日:2023年9月18日(月)/公開日:2023年9月15日(金)

この記事が気に入ったらサポートをしてみませんか?