見出し画像

Stable Diffusionでテクスチャを作った

エンジニアM168

前回私があるデザイナーさんのTwitterで知った2000万円で取引されている動画を知り、この動画を目標に取り組んでいます。
こちらが、試作の動画です。

ここに写っている石像は、著作権フリーのようですが正確には、不明です。
そのため自分で石像を作る必要があり、石像を作る方法について模索していました。

これに関連して自分で、HDRIを作りました。

私がBlenderを使いフォトスタジオを作り、HDRI画像を作りました。
後は、石像に変わるものを自分で作ることが出来たら、動画を作ることが出来ると思ったのです。
私がTwitterで出会ったデザイナーさんは、ツイートの中で、ロボットか石像と使ってみようとヒントを書かれていました。

でも、私の今のレベルでは、精巧なロボットをモデリングすることは、厳しいです。
そんな思いでいる中、いつものように神社に参拝した帰り道に、石で出来た金庫が閃いたのです。
実は、2000万円で売買されている動画を知ったのも、この神社から帰宅してTwitterを見た瞬間に、私の目に2000万円動画のツイートが飛び込んできたのです。
だから神様が、この動画を作ることが出来たら、お金になると教えてくれたと思いました。
この動画の世界観は、よく分からいです。
でも、お金持ちの人に買ってもらえるように、クオリティの高い作品を作ることが出来るように、目標を持ちました。

私がnoteで書いていますが、Ubuntu Studioを使っています。

今回私が目標としている動画の話をしていますが、この動画にBGMをつけることが出来るように、DTMやDAWのことを調べていました。
その中で、Jackというサウンドサーバを知りました。

そして、Ubuntu Studioには、楽譜を作ることが出来るソフトをはじめ色々と音楽関係のソフトが収録されていることを知りました。
Blenderや動画編集ソフトも、収録されていることを知りました。
また、デスクトップ環境もGNOMEではないので、私のパソコンでも動くと思ったのです。
私は、Ubuntu18.04から20.04にアップデートした後、パソコンがフリーズすることが多く、システムが壊れてしまい再インストールを何度もしていました。
そのためUbuntu20.04を使うのを諦めていたのですが、今、こうしてUbuntu Studio20.04.5を使うことが出来ています。
Ubuntu 20.04になったことで、Blender3.0を使うことができました。
Blender3.2は、パソコン本体のRAM（メモリ）が、最低8GBとなっています。
私のパソコンは、4GBなので、もう無理になってきました。
一度Blender3.2を使ってみましたが、フリーズしてしまいました。

こうした背景もあり、石で出来た金庫作りも、どのように作るか迷っていまいた。
そんな思いの中、Twitterで文字で絵を描くAIを知りました。
ただ最初は、私は、関心がありませんでした。
でも、Stable Diffusion（ステーブル・ディフュージョン）を知ったとき、凄いと思いました。
テレビでDream Studioを使って絵を描く親子の様子を見て、私も使ってみたいと思いました。
でも、Dream Studioのサイトを見たら有料をあり、諦めました。
その中で、Google Colaboratory でStable Diffusionを使う記事を知りました。

制限を解除する方法も分かり、色々な画像を作り出すことが出来ています。
私のTwitterアカウントやInstagramのアカウントで、Stable Diffusionを使って作った画像をご紹介しています。
私は、カコジョとしてスマホのアプリを使って自分の顔を女性化して、Instagramなどにアップロードしていました。
でも、Stable Diffusionで色々な女性を作り出すことが出来るので、過去所よりも楽しいと思いました。

石で出来た金庫作り


そして、この画像が出てきました。

この画像を加工して、Blenderのオブジェクトのテクスチャーとしました。
本当は、オブジェクトに穴を開けたかったです。
でも、時間が無いことや試作なので、テクスチャーに黒く穴が空いている雰囲気で作ってみました。

UV展開してテクスチャーを作りました

とりあえず、先に作った石像と入れ替えてみました。

とりあえず目標は、達成できました。
レンダリングの設定で、床からオブジェクトが浮いているように見えるので、こちらの記事を参考にしました。

影のレンダリングも加わったので、静止画のレンダリングのサンプル数が、最大4096になりました。
私のパソコンでは、途方に暮れてしまうので、途中でレンダリングを止めて諦めています。
もっとサンプルの数値を下げる方法があるのですが、サンプルを下げると画像が荒くなってしまうし。
バランスが、難しいです。

私のパソコンでは、限界です。

Stable Diffusionをローカル環境で動かしたいのと、Blenderを快適に使えるようになりたので、GeforceRTX3060を搭載した8コアで16GBのRAMのパソコンを買いたいと目標を持っています。

ゲーミングのタワーパソコンでしたら、GeforceRTX3060　12GBのグラフィックボード搭載しているパソコンも見つかると思います。
ノートパソコンでは、6から８GBのVRAMが殆どだと思います。
グラフィックや3Dのモデリングをされないエンジニアの方でもAIをローカルのパソコンで試したいと思うときは、GPUがあるパソコンを購入されると良いです。

グラフィックボードでVRAMが12GB以上あると、画像編集ソフトでStable Diffusionを使うためのプラグインも使えるようでです。

この記事のようにグラフィックボードが無いパソコンで行う方法がありますが、本体メモリが12GB以上必要です。
AIをの学習モデルをダウンロードする関係で、本体メモリが必要なようです。
こちらの私の記事も、読んでください。

本体メモリが16GBある人は、下記の記事が役立つと思います。

下記は、stable_diffusion.openvinoの紹介記事です。

下記の記事は、WindowsとLinuxで試すことが出来ます。

VirtualBoxやWindowsのWLS2などを使い仮想環境で上記の記事を試す場合は、仮想マシンのメモリを12GB以上に設定してください。

目標としている動画制作できるように、応援していただける人を探しています。
パソコンだけでなく食料にも困ることがありますので、アマゾンのほしいものリストを通じて応援していただける人を探しています。


この記事が気に入ったらサポートをしてみませんか？