ChatGPTでSDXL0.9用に読み込むプロンプトを生成して自動で絵本を作成するコードを書いてみた

最近、AIを使って電子書籍を出版することが流行していますね。私も絵本を作成してみることに挑戦してみようと思います。実際に絵本を制作すると、たくさんの作業が必要で、さまざまなツールを使用したり、思っていた以上に手間がかかることに気付きました。例えば、ChatGPTを使ってストーリーを考えて、StableDiffusionやmidjourneyを使用して画像を作成し、作成した画像を編集ソフトに読み込んで文字を入れるなど、手間のかかる作業が多いのですよね...。Pythonの勉強がてらコードを書いて見ます

ということでストーリー作成や画像生成作業、文字入れはなるべく省いてみたいと思います。

ストーリを検討してもらう

Storyファイルを作成

2番にして、ChatGPTに命令(promptForGPTCreateStory.txt)してstory.jsonファイル用のデータを出力。ローカルでstory.jsonファイルを作成。

promptForGPTCreateStory.txt

6.18 KB

ファイルダウンロードについて

ダウンロード

story.json

8.22 KB

ファイルダウンロードについて

ダウンロード

Google colaboratory上にアップロード。
/content/story/story.json

画像生成と文字合成

Diffuserで画像を出力して、story.jsonからセリフを割当

完成

それっぽいのになりました。鳩が烏になっていたりしてますが絵本の意味のわからなさが何かしらいい感じを醸し出している気がしますｗ
(最後気づけばほとんどChatGPTにコード書いてもらいました)

リンク

Google colabratory
https://colab.research.google.com/drive/1kcOUcodggMaVbOU1PNw4KWfob8SjXjyY?usp=sharing