創作実験HIRO

AIを使って創作してます。 一人じゃ辿り着けない創作の境地に、AIとならきっと行けるは…

創作実験HIRO

AIを使って創作してます。 一人じゃ辿り着けない創作の境地に、AIとならきっと行けるはず！

ComfyUIでデジタル8色画像生成

最近Xでデジタル8色の話題を見かけたのでComfyUIで再現できるか試してみました。 既存のツールでは見当たらなかったのでComfyUI公式の付属ノードの一つnodes_post_processing.py を改造することで実現しました。改造方法は最後に載せますが、コードの詳細は有料部分にします（課金しなくてもやったことは十分わかるように書いています）。 前回の記事に載せたドット絵風の画像に適用してみました。 職人技なしで生成したわりにはなかなかいいんじゃないかなと思います

200
創作実験HIRO

    • ドット絵すぎないドット絵生成

      前の記事で書いたとおり、ドット絵すぎないドット絵生成についてやったことを書いておきます。 趣旨としては、ファミコン的ないわゆるドットでではなく、ドットと色数の成約がある中で生まれたCGアート的な表現を生成AIで作ろうというものです。 そして最初に言っておくとAI的なテクニックで実現したわけではなく後処理でやってます。 ノード全体のイメージは下記画像のとおりです。 やってることの概要としては、普通にAI生成した上で画像縮小→色数削減→タイルパターン生成→画像拡大する感じです。

      創作実験HIRO

      • Suno AI V3で80年代風フレンチテクノポップ風の曲にしてみた

        Suno AI V3アルファ版が出た頃に試しにフレンチポップ風の曲を作ってみたところ思いのほかフレンチポップ感の高い曲が出てくるようになったのですが、頼んでもないのにイントロ入れてきたり[Verse]や[Chorus]の指定を無視したり歌詞飛ばしたりが多発して手に負えなくて結局曲としては完成しないままでした。そしてついに先日V3正式版になって安定度が大幅改善し、やっとフルコーラス版ができました。 フレンチポップ風の曲にする上で、せっかくなのでChatGPT先輩の力を借りて名曲

        創作実験HIRO

        • 丸投げしないAI作曲実験5：Suno AI v3でフルバージョン作りました！

          恋する波動関数フルバージョンできました！ もうちょっと詰めたいところはあるけど今の時点でのChatGPT作詞補助とSuno AI作曲でできるレベルだとこれぐらいできたら結構いい方なんじゃないかなと思います。 数日前にSuno AI v3のアルファ版トライアルが始まったので、最初だけは前回記事にしたv2での作曲で、Verse2以降はv3で作曲しました。 v3は明らかに一貫性が上がっています。 v2のときはContinue From This Songしても相当ガチャらないとA

          創作実験HIRO

        ComfyUIでデジタル8色画像生成

        創作実験HIRO

          丸投げしないAI作曲実験4：ChatGPTと一緒に歌詞を磨いていく

          前回の投稿からかなり間があいてしまいましたが歌詞のブラッシュアップが少しできました。 前回の投稿のときはChatGPT先輩がなかなか気持ちの入った歌詞を作ってくれて満足だったのですが、細かいところを満足行く仕上がりにしようとすると結構てこずります。 とりあえずVerse1と最初のサビまで試しに曲にしてみたので、まずは試作曲をどうぞ。「とびきりのwave function」ってところ、なかなかわかってる感じのメロディになってて結構気に入ってます。 現状の生煮え版の歌詞は下記の

          創作実験HIRO

          丸投げしないAI作曲実験4：ChatGPTと一緒に歌詞を磨いていく

          創作実験HIRO

          丸投げしないAI作曲実験3：ChatGPTと一緒に歌詞の展開を考える

          前回の相談でAメロ案ができたので、これを展開していけば曲ができそうですね。とりあえずできた部分と構想の部分をChatGPT先輩に伝えて続きを提案してもらうことにします。 私： ChatGPT： 今回の先輩はなかなか気持ちが入ってる感じがしますね。 本当はAメロに続いてサビを作ってもらいたかったのですが伝え忘れていたのでBメロが出てきました。 4行目はちゃんとAメロの文字数多めの感じが引き継がれていてちゃんと考えてくれている感があります。 歌詞の内容はまあぼちぼちな感じで

          創作実験HIRO

          丸投げしないAI作曲実験3：ChatGPTと一緒に歌詞の展開を考える

          創作実験HIRO

          丸投げしないAI作曲実験2：ChatGPTと一緒に歌詞を考える2

          前の記事ではChatGPTに色々注文を出しつつ歌詞を考えてもらったけど期待した感じにはならなかったところまで書きました。 今回はその続きで、ChatGPTに歌詞を全部考えてもらうのではなくどうすれば自分が思い描いている歌詞を作れるかを相談する感じで進めてみたところ、結局ChatGPTの解答には満足できなかったのですがそのボツ歌詞を読んだり修正指示を出す中で「こんな歌詞にすればいいのに」という第三者目線的な立場からアイデアが浮かんできました。 そこで、「こんな歌詞にすればいい

          創作実験HIRO

          丸投げしないAI作曲実験2：ChatGPTと一緒に歌詞を考える2

          創作実験HIRO

          丸投げしないAI作曲実験1：ChatGPTと一緒に歌詞を考える

          前回ChatGPTがいい感じの歌詞を一発で作ってくれたので調子に乗って昔考えてた曲のタイトルからまた歌詞を作ってもらおうと思ってやってみたのですがあんまりいいのができなかったので、ChatGPTに相談しながら自分で作っていく感じで歌詞を考えてみることにします。 タイトルは「恋する波動関数（仮）」です。歌詞としては恋するボーイとガールのラブな波動が重なり合って、妄想ラブがリアルに結実する的な構想です。せっかくなので量子力学的なワードを使って理系心にキュンとくる歌詞にしてやりた

          創作実験HIRO

          丸投げしないAI作曲実験1：ChatGPTと一緒に歌詞を考える

          創作実験HIRO

          SunoAIで作った80年代風歌謡曲にAnimatediff v2で動画つけてみた

          先日SunoAIの名曲「博士、私バグです！」の80年代風アレンジバージョンが公開されましたが、SunoAIからの再生だけだとちょっと味気ないのでPVを作ってみました。せっかくなので前回より動画生成のクオリティアップかつ生成の効率化がしたかったので最近流行りのLCM-Loraの使い方を調べてやってみたのですがあまりいい結果に辿り着けず、最終的にAnimatediff v2で生成しました。 作った動画はこちらです。 動画生成に使用したワークフローは下記画像に埋め込まれていると思

          創作実験HIRO

          SunoAIで作った80年代風歌謡曲にAnimatediff v2で動画つけてみた

          創作実験HIRO

          SunoAIで80年代風ポップ歌謡を作ってみたけど２番を歌わせるのは難しい

          前の記事で80年代エレクトロポップ風バージョンを作ってみたいと書きましたが、なかなか思った感じにならずに苦戦しました。いい感じの曲がちょいちょい出てくるのですがいいところで漢字読み間違えたり期待しているのと違う歌い方になったり。 でもなんとか粘ってとりあえず合格かなという感じの曲ができたので公開します。 Continue From This Clipで続きを作ってもなかなか１番と同じメロディにならなくて苦戦しました。結局諦めて近い感じので仕上げました。 部分的に修正する機能

          創作実験HIRO

          SunoAIで80年代風ポップ歌謡を作ってみたけど２番を歌わせるのは難しい

          創作実験HIRO

          SunoAIで作った曲を動画化して歌詞のアニメーションも入れてみた

          前の記事でSunoAIで作った歌に生成AIで作ったアニメを組み合わせて動画を作った件を書きましたが、やっぱり歌詞を表示させたくなってきたので歌詞ありバージョンの動画を作りました。 今回はAI的な要素なしで人力FCPX編集だけです。 できた動画はこちらです。 シンプルなスライドインだけで結構見栄えがするようになったし、視覚的にもリズム感が出てなかなかに満足度高いです。スライドインのモーションテキストはFCPXの標準付属タイトル「移動」をベースにMotion5でクイックに動くよ

          創作実験HIRO

          SunoAIで作った曲を動画化して歌詞のアニメーションも入れてみた

          創作実験HIRO

          Suno AIで歌を作った勢いでComfyUI+AnimateDiffで動画化してみた

          ChatGPTさんがキュンキュン度MAXの素敵な歌詞を作ってくれたのでSuno AIで歌にしてみたのは前の記事に書きましたが、せっかくなので恋に目覚めるアンドロイド少女ちゃんのキャライメージを生成して、ついでに簡易的なアニメーションも作ってみようと思ったのでやってみました。 前の記事はこちらを参照。 今回作った動画はこちらです。 生成手順について1.　ベース画像 アンドロイド少女ちゃんのキャライメージ画像を生成するにあたり、ComfyUIというツールを使ってみました。

          創作実験HIRO

          Suno AIで歌を作った勢いでComfyUI+AnimateDiffで動画化してみた

          創作実験HIRO

          昔思いついた曲名案からChatGPTで歌詞を作ってsuno aiで歌にしてみた

          #AIとやってみた 10年以上前のメモに「博士、私バグです」というタイトルワード案があったのを思い出し、ChatGPTで歌詞を作ってもらいました。 すると初手から予想を遥かに上回るトキメキアンドロイド感炸裂の傑作ができてしまったのでしばらく悶絶したのちSuno AIで歌にすることを決意しました。 Suno AIでの歌生成は一発というわけにはいかず、当たりが出るまで20回以上生成しました。そもそも生成できる曲の長さの制約のため、歌詞全体を一発で曲にすることはできないので歌詞

          創作実験HIRO

          昔思いついた曲名案からChatGPTで歌詞を作ってsuno aiで歌にしてみた

          創作実験HIRO