sho

テクノロジーとアート系が趣味です。

sho

テクノロジーとアート系が趣味です。

  • ComfyUI

    ComfyUIに関する記事をまとめました

ComfyUIで モーフィングアニメーション(ipiv's Morph)

複数のリファレンス画像を連結した高品質なモーフィングアニメーションが作れます。 以下のcivitaiのページにワークフローがあります。 この記事では、RTX4070ti 16GBで生成しています。 最終的に4倍アップスケールされたHD動画が生成されますが、おそらくVRAM16GBモデルじゃないと、アップスケーリングは重いだろうと思います。VRAMが少ない場合はアップスケールノードをミュートしてください。 RTX4070ti 16GBだと1920*1920の動画も作れました

sho

    • ComfyUIでAnimateDiff-MotionDirector

      AnimateDiffのオリジナルのモーションloraを作ろうと思い以下のカスタムノードを使い、トレーニングしてみた。 ComfyUI-ADMotionDirector トレーニング環境だが、結構スペックが必要になる。 Google Colabで16GBのT4では、GPU不足になった。 なのでL4を使ってみた。 やっていて思ったのがVRAMが少ないゲーミングGPUを使ったローカル環境よりGoogle Colabを使った方がいいと思う。 （後述するがフレーム数を下げれば16G

      sho

      • babylon.jsをTypeScriptで使う雛型

        まずプロジェクトフォルダを作り、以下のコマンドで初期化。 必要なものをインストールする。 cd [project directory name]npm install webpack webpack-cli webpack-dev-server --save-devnpm install typescript ts-loader --save-devnpm install @types/babylonjs @babylonjs/core tsconfig.jsonをプロジ

        sho

        • ComfyUIでWonder3Dを動かす

          ComfyUI-3D-Packの中の、Wonder3Dを試そうとしてハマったのでメモ。 こちらの記事はWindowsのみです。 VRAMが8GBのGPUだとメモリー不足で動きませんでした。 タスクマネージャーの表示で10GB程度使っているのでそれ以上のGPUがいります。(筆者環境：4070ti super) これがワークフロー↓ https://github.com/MrForExample/ComfyUI-3D-Pack/blob/main/_Example_Workfl

          sho

        ComfyUIで モーフィングアニメーション(ipiv's Morph)

        sho

        マガジン

        • ComfyUI
          10本

        記事

          ComfyUIでAniportraitを試してみた

          chaojieのComfyUI-AniPortraitをインストールしたがうまく動かなかったが frankchiengのComfyUI_Aniportraitが使えた。 この記事の内容を行うとVRAM使用量が12GBなので、それ以上のグラボが必要です。 <筆者環境 win10 RTX4070ti ComfyUI: 2045[b7b559](2024-03-04)> インストールまずgit cloneするかComfyUI Managerからインストールする

          sho

          ComfyUIでAniportraitを試してみた

          sho

          ComfyUIでオリジナル統合ノードを作る

          組み立てたノードを使いまわす場合は、通常は下記のようなテンプレートを作成するが、それ以外にオリジナルノードを作る事も出来る。 基本はテンプレートと同じです。 例えば以下のようなIP Adapterのノードのかたまりがあります。 上記のノードを全選択して、ノードの無い部分を右クリックでメニューを出します。 "Convert to Group Node"を押して名前を付けます。 統合されたノードの完成 凄く簡素化されます。 プロンプト部分も合体しました。 ノードリス

          sho

          ComfyUIでオリジナル統合ノードを作る

          sho

          Windowsでvoicevox_coreをPythonで動かす

          Windowsでvoicevox coreをPythonで使う際に、 ハマってしまったのでメモ。 https://github.com/VOICEVOX/voicevox_core ライブラリのダウンロード通常通り、Cドライブ直下かユーザー直下に PowerShellを立ち上げて以下の命令を打つ。 voicevox_coreというフォルダとdownload.exeが作られる。 voicevox_coreは作業ディレクトリにする。 > Invoke-WebRequest

          sho

          Windowsでvoicevox_coreをPythonで動かす

          sho

          ComfyUIでまとめて画像加工する

          ComfyUIを編集ツールの側面をまとめてみました。 画像生成AIの学習やLora学習をする際の画像データ加工に使える内容です。 最初にこの記事ではVideo Helper SuitのLoad imagesを使います。 Load imagesのディレクトリにソース画像フォルダを指定して、Save Imageに、"出力フォルダ名 / ファイル名"を指定します。 (load imagesのディレクトリ内の画像ファイルは縦横サイズがバラバラのファイルを入れるとエラーが出ます。例

          sho

          ComfyUIでまとめて画像加工する

          sho

          ComfyUIでTripoSRで3Dオブジェクトを作る。

          (初回投稿日：2024/03/07) (改訂日：2023/03/10) TripoSRを使って3Dオブジェクトを生成してみる。 ComfyUI-3D-Packというノードを使う。 新しいバージョンのものが必要になるので新しいComfyUIの環境を作ったほうが良い。 （既存の環境をいじってハマってしまった、、、。毎度同じ過ちを繰り返している。） ・インストール最新のComfyUI >> 2045[b7b559](2024-03-04) をインストールする。 その後、Comf

          sho

          ComfyUIでTripoSRで3Dオブジェクトを作る。

          sho

          ComfyUIのノードの所属パッケージ名を知る

          新しくComfyをインストールし直した時や、ノード名が分かるが 属するパッケージ(カスタムノード)の名前が分からなくて、過去のワークフローを探したりと困る時がある。 ノードがどのパッケージに属しているか表示させることが出来る。 メニュー画面のBadgeで、"Badge: Nickname (hide built-in)"を選ぶと パッケージ名が表示される。 "Badge: Nickname"のほうを選ぶと、ComfyUIの最初から入っているノードに狐のロゴが表示される。

          sho

          ComfyUIのノードの所属パッケージ名を知る

          sho

          独り言：グラボはいつも甘い声で耳元に囁いてくる。

          (以下の内容は筆者の戒めのために書かれています。) 4070ti Superが発売されたが、4070tiと4080の値段の中間。4070tiも4070ti Superも同じ値段だが、日本では違う。 同じ値段で売れば4070tiが売れなくなるので在庫がほとんどなくなったら、価格を下げるのだろうか？ 1060を買ったときは、2万くらいで買えた。 3060tiは時期の悪い高値掴みで9万くらいだった。 グラボに10万円を出せる感覚が身についてしまっている。 パソコン関係はミドルスペッ

          sho

          独り言：グラボはいつも甘い声で耳元に囁いてくる。

          sho

          独り言：画像生成AIの良くない部分

          アニメ漫画系と、実写系でははっきりと違う事があり、それは前者には 「タッチ」や「絵柄」というものが存在がする。 実写系は、基本的にタッチを失くす方向にあるが、アニメ漫画系は、タッチを表現やアイデンティティーとしている。 個人的にこの先、特にアニメ漫画系は結構荒れそうな未来が見えている。 なぜなら、画像生成AI出てから最初はAIしか描けないような独特な質感が強かったが、だんだんとクオリティが上がり細かい制御が可能になり、 「現実の置き換え」になる方向に向かっている気がするから

          sho

          独り言：画像生成AIの良くない部分

          sho

          ComfyUIでFaceIDを使う

          （初回編集時：2024年2月18日） （改訂時：2024年3月29日） ComfyUIでFaceIDを使う時につまずいたので書いておく。 (普段ComfyUIを使っている人向けに書くので、初歩的な内容はChatGPTなどに尋ねてください。) Insight FaceのインストールまずInsight Faceが必要なので、別途インストールする必要がある。 筆者の環境はWindowsなので、ディレクトリの"ComfyUI_windows_portable\python_embe

          sho

          ComfyUIでFaceIDを使う

          sho

          【エラー修正】Google colabでComfy UI 使えなくなった。torch cudaバージョン。

          （加筆時：2023年12月21日） （初回編集時：2023年12月11日） 三日くらい前からGoogle colabでComfy UI を使うとComfy UI Managerが立ち上がらず、原因を見てみるとコンソールにimoport errorが頻発していました。 しかも他の３分の１のcustom nodesもimport errorになっていました。 以下がエラーです。 理由はtorchとcudaのバージョンです。 以下のようにColabのページの左の①のフォルダマー

          sho

          【エラー修正】Google colabでComfy UI 使えなくなった。torch cudaバージョン。

          sho

          コラム：デジタルとアナログの争い

          デジタルネイチャーという言葉があるが奇妙な言葉である。 デジタルに拒否感がある人達に啓蒙するためにそんな言い回しになったように思える。 なぜならこの世には自然しかない。 デジタルはネイチャーの一部であるはずだからだ。 アナログ機械しかない時代にデジタル機器が現れ、その時生まれた拒否感によってただの技術の区分であるアナログとデジタルが生理的な区分に変わり、その拒否感を解消するためにデジタルネイチャーという言葉が出てきたようにしか思えない。 デジタルがある時代に生まれてきた人達

          sho

          コラム：デジタルとアナログの争い

          sho

          コラム：近似された「美しさ」

          「漂白化社会」という言葉があるが意味を考えると「白」でも「黒」でも変わらないと思っている。 ゆで卵を生卵に戻したり、時間そのものを戻したりできない事になっている。 地球上では重力の影響で全てのものは地面に押し付けられる。 電流は電圧の高い方から低い方へ流れる。 この宇宙には一定の方向性があるのだ。 その意味で言えば、白と黒は平等ではなく漂白化は白でなければならないのだろう。 エネルギーを使って輝き続けなければ白はやがて黒に変わってしまう。 白のほうがエネルギーが高い状態だと言

          sho

          コラム：近似された「美しさ」

          sho