創作実験HIRO

AIを使って創作してます。 一人じゃ辿り着けない創作の境地に、AIとならきっと行けるは…

創作実験HIRO

AIを使って創作してます。 一人じゃ辿り着けない創作の境地に、AIとならきっと行けるはず！

ComfyUIカスタムノードでCRT風画像加工するやつ作りました

先日ComfyUIで固定パレットドット絵風画像加工カスタムノードをリリースしましたが、ドット絵はやっぱりCRT（Cathode Ray Tube：ブラウン管のこと）で見てこそ趣があるはずだと思い、ちょっと手っ取り早く作れないかなと探してみたのですがぱっと使えるものが見当たらなかったので作りました。新しいカスタムノードとして登録するほどでもない気がしたので先日公開したPixydustQuantizerの追加ノードとしてアップしておきました（下記埋め込みリンク参照）。 先日の減色

創作実験HIRO

    • ドット絵風画像処理のComfyUIカスタムノードを作って公開しました！

      以前ComfyUIのImageQuantizeを工夫して使ってドット絵風画像処理をする記事を書きましたが、色がくすんでしまうのとディザリングしたくない部分にディザリングパターンが入ってしまうのを元絵の色調整でごまかしてなんとかするしかなかったのです。ドット絵画像を作る度にもっとスマートに処理できないかなと毎回悶々としていたので、自分でカスタムノードを作ってみました。そしてPixydust Quantizerというやたらかっこいい名前をつけました。 ComfyUI標準のImag

      創作実験HIRO

      • Qwen2-VL-7BとGemma2-9Bを3090上で同時に動かしてみた

        2024年8月末に公開されたAlibabaの視覚言語モデルQwen2-VLが高性能らしくどんなものか気になったのでローカルで動かしてみました。 これをやる中でチャットツールとしてOpen WebUIをいれたので、せっかくなので複数LLM切り替えで運用できるか確認してみました。 結論としてはGeForce RTX 3090（VRAM 24GB）一枚でQwen2-VL-7B-Instruct-AWQとGemma2-9Bが同時に動きました。 Qwen2-VLをOpen WebUI

        創作実験HIRO

        • 今更ながらSDXL LoRA学習してみた

          先日SunoのCover機能を活用して『LASER (Love Amplification by Stimulated Emission of Radiation)」という曲を生成したのですが、我ながらいい感じにできそうな手応えがあったのでそろそろちゃんとミュージックビデオを作ろうと思い始めています。 そんな折に高性能そうな動画生成モデルCogvideoX-5Bが公開され、ComfyUI用のカスタムノードも提供されているので早速試してみたのですが、二次元絵の動画化は得意じゃ

          創作実験HIRO

        ComfyUIカスタムノードでCRT風画像加工するやつ作りました

        創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（3）：コーラス＆エフェクト編

          なかなか思うように生成できないAI作曲の微修正をしてサクッと完成度を高めよう！というつもりで踏み入れた楽曲編集の領域は魔の沼だったかもしれません。 お手軽な生成作曲のつもりで始めたのに本格DAW（digital audio workstation）ツールのLogic Proを使うことになりました。 発端としてはSynthVで歌わせただけでは平面的な感じになってしまいちょっともの足りないからリバーブをかけたかっただけです。でも調声もまだしっかりできてない段階でエフェクトかけた

          創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（3）：コーラス＆エフェクト編

          創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（2）：SynthV修正編

          Sunoで作った曲の歌い間違いなどを力技で修正してやろうという実験ですが、前回の記事で概要を説明して今回いよいよメインとなるSynthesizerVを使った修正作業について記事にしていきます。 やることは大きく下記の通りです。 ボーカルパートをインポートしてノートに変換 自動認識した歌詞の不具合修正 歌声発声のタイミングや発音が想定と異なる部分を修正 ベタ打ちレベルのゴールとしてはとりあえずここまでです。この後さらに歌い方の調整などをしていきますが、それは別の記事にし

          創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（2）：SynthV修正編

          創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（1）：概要編

          Sunoで歌あり曲を生成している人なら誰しも思うであろう、歌い方の部分修正を歌声合成ソフトを使ってやってみたという記事です。 思いついた時はやべー、音楽生成の新時代を切り開いてしまったかも、って思いましたが２ヶ月も前にTamo Lab.さんが実験済みでした。 でも当時と比較するとSunoもUdioもSTEM分離（歌と楽器などを分離して出力する）ができるようになったので取り組みのハードルは少し下がったと思います。 加えて、Udioの曲データ読み込み＆リミックス機能を使うことで

          創作実験HIRO

          Sunoで作った歌声の発音ミスを歌声合成ソフトで修正する実験（1）：概要編

          創作実験HIRO

          Sunoで作った曲をnarasuで配信登録してみた（2）： 配信までの流れ編

          前回の記事にてAI生成楽曲をnarasu経由でさまざまな音楽配信サービスに配信代行してもらった時の流れを書きましたが、無事配信開始されました！ 配信代行サービスに登録した後実際に配信されるまでの間にいつ頃どのような節目があるのか、なにかやるべき事はあるのか、そして配信はどのようにスタートするのかなどをまる見せしていきます！と言いたいところなのですが届いたメールなどの通知物は無断転載禁止のようなのでどんな通知があるかなどを書いていきます。 前回の記事は下記です。配信成功の実績

          創作実験HIRO

          Sunoで作った曲をnarasuで配信登録してみた（2）： 配信までの流れ編

          創作実験HIRO

          Sunoで作った曲をnarasuで配信登録してみた（1）： 登録の流れまる見せ編

          Sunoで最近作った耽美ソング「月光花の夢」がなかなか満足のいく出来だったので配信したいなと思っていたのですが、たくさんあるサービスの中からどれがいいのか、それぞれ何が違うのか、そもそも何をすればいいのか、などよくわからず進められていませんでした。 そんな中、先日AI作曲コンテストでお世話になっただーこもさんがちょうどAI音楽配信に関するNote記事のリリース配信をしていたので勢いで記事を購入し、読んで早速音楽配信サービスnarasuに登録してみました。 この記事では実際に曲

          ¥0〜
          割引あり
          創作実験HIRO

          Sunoで作った曲をnarasuで配信登録してみた（1）： 登録の流れまる見せ編

          ¥0〜
          創作実験HIRO

          Claude先生と共同で耽美な作詞実験＆Sunoで作曲「星空にドライブ」

          Sunoの性能も上がってきていて良い感じの曲が一発でできたりする世の中になってきましたが、全自動でできた曲だと「作った感」とか「これが欲しかった感」はちょっと物足りないなと感じてしまいます。 経験上作詞をしっかりやるとできてほしい曲のイメージも明確になりやすいのでこれまでは主にChatGPT先輩に相談しつつ作詞していましたが、Claude 3.5 Sonnetというモデルが無料で使えるようになったのでこちらを使って良い感じの耽美曲ができるか試してみました。 結論としては、Cl

          創作実験HIRO

          Claude先生と共同で耽美な作詞実験＆Sunoで作曲「星空にドライブ」

          創作実験HIRO

          AI作曲コンテストで受賞！そして歌詞作りは重要！

          先日だーこもさんの企画で開催された第1回だーこもAI音楽祭にて、私の作品「雨の囁き」が見事だーこも賞（だーこもさんの心に一番響いた曲に授与）を受賞しました！だーこもさんありがとうございます！ 受賞した曲はこちらです。 梅雨入り×バラードというテーマで募集され、今回2曲応募した内の1曲です。 自分でもなかなかいい出来栄えだと思うのですが、他の人にもそれが届いて心に響いたと評価してもらえると作った甲斐が1万倍ぐらいあります！ 今回はこの曲ができた経緯というか、どんなことを考え

          創作実験HIRO

          AI作曲コンテストで受賞！そして歌詞作りは重要！

          創作実験HIRO

          udioを使ってみたら本物の80年代アイドルみたいなのが出た！

          前の記事に書いた通り、爽やかな曲を完成させるべくudioを使ってみたらYMO的というか細野晴臣アイドルソングっぽいというか、これほんまにあるやつちゃうん！？っていうレベルのができたので驚きました。 できた曲をまず貼っておきます。 いかがでしょうか、なんとも味わい深い、上手くはないけど不快じゃない、逆にやろうと思ってもできないんじゃないかと思える絶妙なハズし加減。本物の80年代アイドルってどんな感じだったのか確認のため伊藤つかささんの曲とかYoutubeで再生してみましたがま

          創作実験HIRO

          udioを使ってみたら本物の80年代アイドルみたいなのが出た！

          創作実験HIRO

          爽やかな季節に爽やかレトロポップな曲を生成【SunoAI v3】

          新緑が美しく気温も上がって爽やかな季節になってきたので爽やかな曲を作ってみたくなり、個人的に爽やかでポップと言えばメロンソーダなのでメロンソーダをモチーフにした曲を作ることにしました。 恋する波動関数の経験からChatGPT先輩に丸投げは厳しいことがわかっていたので全体イメージの骨組みだけまずは作ってもらい、気になるところは基本自力で修正 or 修正案をChatGPT先輩に相談して仮歌詞を作り、Suno先生に曲にしてもらいながら収まりが良くなるように歌詞を修正 and ガチャ

          創作実験HIRO

          爽やかな季節に爽やかレトロポップな曲を生成【SunoAI v3】

          創作実験HIRO

          ComfyUIでデジタル8色画像生成

          最近Xでデジタル8色の話題を見かけたのでComfyUIで再現できるか試してみました。 既存のツールでは見当たらなかったのでComfyUI公式の付属ノードの一つnodes_post_processing.py を改造することで実現しました。改造方法は最後に載せますが、コードの詳細は有料部分にします（課金しなくてもやったことは十分わかるように書いています）。 前回の記事に載せたドット絵風の画像に適用してみました。 職人技なしで生成したわりにはなかなかいいんじゃないかなと思います

          ¥200
          創作実験HIRO

          ComfyUIでデジタル8色画像生成

          ¥200
          創作実験HIRO

          ドット絵すぎないドット絵生成

          前の記事で書いたとおり、ドット絵すぎないドット絵生成についてやったことを書いておきます。 趣旨としては、ファミコン的ないわゆるドットでではなく、ドットと色数の成約がある中で生まれたCGアート的な表現を生成AIで作ろうというものです。 そして最初に言っておくとAI的なテクニックで実現したわけではなく後処理でやってます。 ノード全体のイメージは下記画像のとおりです。 やってることの概要としては、普通にAI生成した上で画像縮小→色数削減→タイルパターン生成→画像拡大する感じです。

          創作実験HIRO

          ドット絵すぎないドット絵生成

          創作実験HIRO

          Suno AI V3で80年代風フレンチテクノポップ風の曲にしてみた

          Suno AI V3アルファ版が出た頃に試しにフレンチポップ風の曲を作ってみたところ思いのほかフレンチポップ感の高い曲が出てくるようになったのですが、頼んでもないのにイントロ入れてきたり[Verse]や[Chorus]の指定を無視したり歌詞飛ばしたりが多発して手に負えなくて結局曲としては完成しないままでした。そしてついに先日V3正式版になって安定度が大幅改善し、やっとフルコーラス版ができました。 フレンチポップ風の曲にする上で、せっかくなのでChatGPT先輩の力を借りて名曲

          創作実験HIRO

          Suno AI V3で80年代風フレンチテクノポップ風の曲にしてみた

          創作実験HIRO