【しばぱぱ三上】XRとAI関連のクリエイティブ情報

AI、XR、Blender、UnrealEngineなどを使ったクリエイティブ情報をま…

【しばぱぱ三上】XRとAI関連のクリエイティブ情報

AI、XR、Blender、UnrealEngineなどを使ったクリエイティブ情報をまとめています。

ローカル環境での背景除去ツールのセットアップとカスタマイズ

この記事では、birefnet for background removalという背景除去ツールをローカル環境にセットアップし、カスタマイズする手順を説明します。 1. 環境の準備まず、Python 3.xがインストールされていることを確認します。次に、作業用のフォルダを作成します。ここでは例として、Dドライブにbackground-removalというフォルダを作成します。 フォルダの作成 Dドライブを開き、右クリックして「新規作成」→「フォルダー」を選択し、フォルダ

【しばぱぱ三上】XRと…

    • 写真1枚からリアルタイムに顔を置き換えるAI　Deep-Live-Cam　導入

      Deep-Live-Camのインストール設定ガイド はじめに Deep-Live-Camは、AIを利用してリアルタイムでフェイススワップやディープフェイクを行うことができる強力なツールです。このガイドでは、Windows環境でのインストール手順から、仮想環境の設定、GPUアクセラレーションの有効化方法まで説明します。 より詳しい情報はオリジナルのGithubを確認してください。 1. 必要な準備 Python 3.10 Git CUDAツールキット 11.8（N

      【しばぱぱ三上】XRと…

      • FasterLivePortraitで一枚絵をカメラ画像でリアルタイムに動かす！

        FasterLivePortraitは、静止画のポートレートをリアルタイムで動かすための強力なツールです。 こちらのgithubを参考に導入しましたが、メモ代わりに導入手順を残します。 https://github.com/warmshao/FasterLivePortrait/blob/master/README.md 必要なものWindows 10/11 PC NVIDIA GPU (RTX 30シリーズ推奨) Pythonインストール済み ステップ1: リポジト

        【しばぱぱ三上】XRと…

        • Luma AIのデータをLooking Glassに映すやり方

          NeRF（ナーフ）といわれる方法で高精細な3D生成が可能なLuma AI（ルマ　エーアイ）で撮影したデータをホログラムディスプレイLooking Glass Portraitに表示させる方法です。 ステップ1：Luma AIをiPhoneへインストール ※iPhone11以上が対応機種となります。 ステップ2：シーンを撮影 『SCENE』を撮影して保存 ステップ3：PCでLuma AIのWebサイトへアクセス スマホアプリと同じアカウントでログイン メニューから『

          【しばぱぱ三上】XRと…

        ローカル環境での背景除去ツールのセットアップとカスタマイズ

        【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          BlenderでDepthを作成してStable Diffusionでテクスチャを作成して手軽にシーンをつくろう

          自分のメモのために残します～ Bldenderで適当にモデリングをするメイドインアビスをイメージして深い穴があるロケーションを作成してみました。なんでもOK！ Blenderから深度情報を得るView Layer→Passes→ZをON Rander→Rander Image compositing→Use Nodesにチェック→ノードを以下のようにつなぐ Render Image→Color Depth 16→Compression 0%でsave Stable

          【しばぱぱ三上】XRと…

          BlenderでDepthを作成してStable Diffusionでテクスチャを作成して手軽にシーンをつくろう

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          WebXR「Tiny Web Metaverse」のローカル環境構築

          この記事はtakahiro(John Smith)さんのTiny Web Metaverseのローカル環境構築のメモです。 github ステップ1: Node.jsのインストールNode.jsの公式ウェブサイトにアクセスし、LTSバージョンをダウンロードしてインストールします。 インストールが完了したら、コマンドプロンプトまたはターミナルを開き、以下のコマンドを実行してNode.jsとnpmのバージョンを確認します。 node -vnpm -v ステップ2: プロ

          【しばぱぱ三上】XRと…

          WebXR「Tiny Web Metaverse」のローカル環境構築

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          Audiocraft MusicGen ローカル環境への導入方法

          事前準備: Python 3.10.11とgitのインストール: Pythonとgitをそれぞれの公式サイトからダウンロードしインストールします。 ffmpegのインストール: ffmpegをダウンロードし、任意のフォルダに解凍します。この例ではC:\ffmpeg-master-latest-win64-gplに解凍しました。 FFmpegの環境変数へのパス設定 (Windows 11): 右下のWindowsアイコンを右クリックし、「システム」を選択します。 左側

          【しばぱぱ三上】XRと…

          Audiocraft MusicGen ローカル環境への導入方法

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          Wonder Studioの使い方とオリジナル3DCGモデルを使う方法

          Wonder Studioとは？ アメリカのスタートアップWonder Dynamicsが提供する凄いAI動画サービス。実写から簡単に3DCG合成を作成できちゃいます。ブラックパンサーやゲームオブスローンズでも使用されているそうです。 登録方法 サイトにアクセスしてウェイディングリストに登録して数日するとメールが届きます。件名「Welcome to Wonder Studio」私は一週間後くらいに来ました。 新しいプロジェクトを作成 左上の「Create New P

          【しばぱぱ三上】XRと…

          Wonder Studioの使い方とオリジナル3DCGモデルを使う方法

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          TemporalKitを使ったAI動画

          TemporalKitとはStable Diffusion Web UI Automatic1111の拡張機能で動画をアニメっぽくしたり、別人にしたりできます。 前提条件 Stable Diffusion Web UIをインストール済み FFMPEGをインストール済み EbSynthをインストール済み Tempora Kitの使い方①ファイルを用意する 場所はどこでもOK！ ②変換する動画（.mp4）を入れておく 変換する動画ごとにフォルダつくるとよさそう。

          【しばぱぱ三上】XRと…

          TemporalKitを使ったAI動画

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          LoRA学習でキャプションファイルのタグテキストから「学習させたい要素」を一括削除するPythonスクリプトです。

          画像生成AI『Stable Diffusion webUI AUTOMATIC1111』(ローカル版)でLoRA学習をしていたところ、複数あるテキストファイルから不要な単語を削除するという苦行に立ち向かうため作成いたしました。ぜひ、お役立ていただけたらと。 使い方①Pythonのインストール まだの方はインストールしましょう。 公式ウェブサイト (https://www.python.org/downloads/) からダウンロードできます。 私はstable diffu

          【しばぱぱ三上】XRと…

          LoRA学習でキャプションファイルのタグテキストから「学習させたい要素」を一括削除するPythonスクリプトです。

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】３Dスキャンした3DCGをBlenderで軽量化（ハイポリからローポリへテクスチャベイクする）

          3Dスキャンアプリでハイポリモデルを用意 WIDARはCGモデルでのエクスポートに月額が発生するので同じくフォトスキャンとLiDARスキャンに対応した「3dScannerAPP」を使用して3Dスキャン。 ただ残念ながらAndroid版はありません。 もちろん他のアプリで3Dスキャンしたものや別でハイポリモデルをもってきてもOKです！ ①撮影が終わったら右下の「Share」を選択。 ②「OBJ」を選択。 ③自分にメールするなどしてファイルを受け取る。 ④Blender

          【しばぱぱ三上】XRと…

          【簡単】３Dスキャンした3DCGをBlenderで軽量化（ハイポリからローポリへテクスチャベイクする）

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】３Dスキャンアプリ「WIDAR」の3DCGをWebメタバースの「DOOR」で表示

          WIDARをインストール WIDARはiPhone、Androidに対応したフォトスキャンアプリでDOORと公式に連携していてアップロードが容易です。 各アプリごとの特徴は3Dスキャンの第一人者の「iwama」さんのnoteがオススメです。 WIDARでフォトスキャン 今回はiPhoneのProシリーズなどに搭載されている「LiDAR」がなくてもできる「Photoスキャン」モードで解説します。 被写体は家にあった「いちごジャム」です。 最初の画面でアカウントを必ずつく

          【しばぱぱ三上】XRと…

          【簡単】３Dスキャンアプリ「WIDAR」の3DCGをWebメタバースの「DOOR」で表示

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】DOORNTTやMozilla Hubsで使える！UVスクロールで流れる水を表現

          BlenderとHubsの公式アドオン「Hubs Exporter for Blender」をいれよう！ やりかたを説明した過去の記事はコチラ 水のテクスチャを作成 ①「追加」→「メッシュ」→「平面」を追加 ②「Shading」タブ→左下のプレビューの三本線メニューから画像を新規作成→ノード画面の「追加」から「テクスチャ」→「画像テクスチャ」を選択してカラーとベースカラーをつなげる ③「Texture Paint」→上部最右端の「タイリング」のXにチェックをいれてペ

          【しばぱぱ三上】XRと…

          【簡単】DOORNTTやMozilla Hubsで使える！UVスクロールで流れる水を表現

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】Blenderのライトベイクで質感向上。Webメタバース「DOOR」と「MozillaHubs」で使おう！

          DOORから椅子をダウンロード①ルームレイアウト機能を使って「オリジナルルームを作る」を選択 ②「新しいシーン」を選択 ③「空のシーンを使う」を選択 ③「アイテムボックス」からダウンロードしたいアセットを右クリックして「URLを新しいタブで開く」を選択 ④保存先が決めて保存 Blenderで影をテクスチャに焼き込む①最初に配置されているキューブを削除して「追加」⇒「平面」を設置 ②「ファイル」⇒「インポート」⇒「glTF」を選択して、先ほどダウンロードしたアセットを

          【しばぱぱ三上】XRと…

          【簡単】Blenderのライトベイクで質感向上。Webメタバース「DOOR」と「MozillaHubs」で使おう！

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】Webメタバース「DOOR」と「MozillaHubs」でのルーム作成方法。

          なぜWebメタバース？①アプリと比べてダウンロードが不要だからアクセスが簡単。 ②URLを共有するだけでアクセスできるなどWebサイトと同じような使い勝手。 ③AppleやGoogleなどアプリストア側のルールの影響を受けない。 ④だからECサイトやNFTウォレットと繋げたり自由度が高い。 なぜDOOR？ ①株式会社NTTコノキューが提供する国産サービスだから扱いやすい。 ②個人、商用利用ともに無料。※今後一部有料になる可能性はあるかも！？ ③全世界のWebエンジニアが参加

          【しばぱぱ三上】XRと…

          【簡単】Webメタバース「DOOR」と「MozillaHubs」でのルーム作成方法。

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報

          【簡単】NTT DOORやMozilla Hubsのアバターに「口の動き」「まばたき」「手の動き」をつける方法メモ

          はじめにNTT DOORやMozilla Hubsはアプリのインストールが不要でWebブラウザのみで使用できるメタバースプラットフォームです。 なんとMeta Quest2やPC、スマートフォンでも動くマルチデバイス対応！ そして商用も無料！ さらにオリジナルのアバターを持ち込むことも可能なので、その設定方法をメモとして残しておきます。 ※私自身がCGクリエイターではないので説明がおかしなところがありますがご了承いただけましたら幸いです。 完成品例私のTwitterに自分の

          【しばぱぱ三上】XRと…

          【簡単】NTT DOORやMozilla Hubsのアバターに「口の動き」「まばたき」「手の動き」をつける方法メモ

          【しばぱぱ三上】XRとAI関連のクリエイティブ情報