MacBookAir 2017(intel Core i7,8GB,256GB CTO model)にStable diffusionを入れて画像生成したり、Mubert Text to MusicでAI作曲してみた成果報告

2022年12月18日 04:57

こんにちは、私です。
2022年12月18日のあむこみオンラインの出し物を考えていたのですが、秋くらいに画像生成サービスのAIが勢いがあったのと、自分でもAIによる自動作曲がずっと前から気になっていたので、いろいろと作ってみました。

今回はStable diffusionの派生版であるstable diffusion openvinoを使い、2017年のMacBookAirでstable diffusionを動かしています。CPUはintelのモデルです。また、著作権的な問題はわからないのですが、openvinoのバージョンで動くwaifu diffusionについても解説しています。音楽生成のほうはMubert Text to Musicを使用してみました。

実際にできた画像などはこちらでもご覧いただけます。プロンプトや参考にしたサイトなどもご覧いただけるようにしました。実際に自分の手元でintel Macで動かしてみたい方は参考になさってみてください。WindosやLinuxでも同じような手順で生成できるようです。最後まで全部読めますが、投げ銭にしてみましたので、こちらもよろしくお願いいたします。

stable diffusionをintel Macにインストール

まずはstable diffusionをMacにインストールしていきます。
まずはPython 3.8系が必要ですのでインストールします。コマンドラインでもできますが、サイトからDL可能ですのでいただいてきましょう。

こちらをインストールします。

コマンドラインの場合はHomebrewを使います。

Homebrewはソースコードをターミナルに貼り付けて実行してください。
終わったら

brew install python@3.8

とします。
インストールできたら

python --version
もしくは
python3 --version

とターミナルで打ってバージョンを確認し、python 3.8 系がインストールされていることを確認してください。(最新版の3.11だと後でエラーがでますのでご注意ください）

次にgitが必要になりますので、こちらもターミナルで確認します。

git --version

こちらでまず、バージョンを確認します。もしgitがインストールされていない場合は確認画面が出ると思いますので、指示に従ってインストールしてみてください。

次にいよいよstable diffusionをダウンロードします。

git clone https://github.com/bes-dev/stable_diffusion.openvino

intel Macの場合はopenvinoという派生バージョンがオススメです。git cloneで複製し、cdコマンドでフォルダに移動します。

cd stable_diffusion.openvino

最後にpython関連のコマンドpipを使い、必要な環境を整えましょう。まずはpipをインストールします。

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

python3 get-pip.py

pythonでpipの準備ができたら、必要なファイルをpip経由でDLします。

pip install -r requirements.txt

これで、下準備は完了です。

もし

zsh: command not found: pip

というエラーがでたら以下を参考にしてください。

生成の際はpromptと言われる呪文のようなものが必要です。この呪文を一生懸命研究してる方も多く、Novel AIなどではかなり精度の高い二次元のイラストなどができるようです。
実際に折り紙を生成してみます。

python demo.py --prompt "origami"

この""の中身を変えることで、思い通りのイメージを出力することが可能です。
なお、毎回出力結果が異なりますので、美少女イラストなどは何度も同じpromptで試行錯誤しながら、20回に1回くらい良くできたものを採用するという形でみんなやっているようです。呪文の書き方によっては、この試行回数を減らすことが可能で、まるで魔法みたいだなと感じました。

参考サイト

waifu diffusionを使ってみる

stable diffusionの派生モデルにwaifu diffusionというのがあります。
こちらはstable diffusionで難しかった美少女イラストなどを補強したもので、novel aiなどが出る前は結構頻繁に使われていたようです。
なお、waifu diffusionもnovel aiも海外の違法転載イラストサービスを学習に利用しており、著作権的な問題が指摘されています。

新しい技術や文化が生まれる時は、まだ著作権的な問題や倫理的な問題があやふやなことが多く、waifu diffusionなどもそれだけでお金をバンバン稼ぐような方向性は避けたほうがいいかもしれません。
ですが以前、ニコニコ動画で「演奏してみた」などが流行った時も、同じような著作権への配慮といったことはあったため、AIイラストも同じように今後流れが整備されていくと思います。
何よりAIの力は大きく、これからはAIの流れは無視できないため、まったく触らない、全くできないというのではなく、どんなものか触って体感してみると、次のサービスが出てきた時も対応できるのかなと思います。

実際にwaifu diffusionを使って生成した画像はこちらになります。

ネームプレートの文字や左手はちょっとおかしいですが、よくできていますね。
こんな感じの画像が簡単に量産できるようになります。

waifu diffusionのインストールはこんな感じで行います。

python demo.py --prompt "kawaii girl with silver hair" --model ShadowPower/waifu-diffusion.openvino

こちらの --model 以下の呪文を打ち込むと自動的にwaifu diffusionがインストールされますので、初回のみダウンロードしてください。
後は呪文のダブルコーテーションの後にこの--model以下をつけてあげることで、waifu diffusionが利用できます。

waifu diffusionで生成した上の画像はこんな感じの呪文を使っています。

python demo.py --prompt "anime of a Schoolgirl wearing competition swimsuit Bishojo  otaku kawaii highresolution 4k 8k"  --model ShadowPower/waifu-diffusion.openvino

呪文の部分の anime ofで美少女系のイラストに近くなるようです。また海外ではスクール水着という言葉がないんだそうなのでCometiton swimsuit（競泳水着）というキーワードで代替してみました。bishojoやotaku、kawaiiという呪文で二次元イラストに近くようです。後ろのhighresolutionや4k、8kといった呪文を入れると解像度があがるようですね。

同じ呪文で粘ってみたらいくつか面白いものができました。

実際に試行錯誤

AIの画像生成も20回〜30回くらい回してみてやっと1個良いのができるくらいのイメージのようです。私も何度も同じ呪文で試してやってたみたりしています。

このバージョンのstable diffusionでは使えないようですが、ネガティブプロンプトというのがあり[]でキーワードを囲うことでそのキーワードを弱めることができるんだそうです。

例えば、上のスク水の女の子の絵は手がおかしいのが多いのですが、これもネガティブプロンプトを使うと回避できるんだとか。ちょっと前にstable diffusionのv2系が出たみたいなので、これからまた動きがありそうかなと思っています。余裕があったらnovel aiやnjiijourneyなんかも試してみたいんですが、課金するお金がなくて躊躇しています笑