デザイニウム TECHブログ

【第3回】動画生成AI×LensStudioでSnapChatのARフィルターをつくる(全3回)

第1回では制作に使用したツールの解説、第2回ではAI画像生成と修正について解説してきました。第3回では、動画生成からLensStudioでのセットアップまでの流れを記載します。動画生成の手順ここからはRunwayでの作業をご説明したいと思います。 Runwayでは「Text/image To Video」と「Frame Interpole」の2つの機能を用います。映像構成について今回のフィルターの映像時間について事前に説明します。フィルターの演出時間は5秒間（=

【第2回】動画生成AI×LensStudioでSnapChatのARフィルターをつくる(全3回)

前回の記事では、使用したツールの解説を行いました。第2回ではイラスト作成と、修正の方法について記載します。イラスト画像生成の手順まずはDALL-E3で、イラスト作成に取り掛かりました。画像生成のプロンプト（指示文）は主に「目的」「必要条件」「制限事項」の3点を重視しました。詳しく解説します。指示文についてChatGPTの一機能なので、画像生成でもツールの使い方が大きく相違するところはありません。検索すると、良い指示文の作り方が多数出てきますので、それをコピペして使う

【第1回】動画生成AI×LensStudioでSnapChatのARフィルターをつくる(全3回)

デザイニウムはAIを駆使して、SnapChatのARフィルターを制作しました。この記事では、動画生成AIとLensStudioを融合させることで、新たな表現を探求したプロジェクトの舞台裏をご紹介します。第1回では主に使用した3つのツールをご紹介します。はじめにこんにちは、デザイニウムのCGクリエイター・秋山です。日々、生成AI技術の進歩が加速していますね。社内でもR&Dとして生成AIを様々な形でARに応用する試みを行っています。例えば「Magical Forest

【技術解説】Lightweight GANに浮世絵を学習させてグニョグニョ動かしてみた【東海道五十三次】

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はLightweight GANという機械学習モデルを使って浮世絵の画像を学習させてみたいと思います。はじめにまずは以下の動画をご覧ください。こちらは、Lightweight GANに歌川広重の浮世絵作品「東海道五十三次」を学習させモーフィング動画として出力させたものです。画像データは以下URLより使わせていただいております。 GANのGeneratorによる出力は基本静止画ですが、

【作品解説】ダンスと機械学習をテーマにした映像「BreakGAN feat. BBOY STEEZ」を制作しました

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はブレイクダンス（Breaking）と機械学習をテーマにした映像作品「BreakGAN feat. BBOY STEEZ」の紹介をします。はじめにまずは以下の動画をご覧ください。こちらの映像は人間のダンサーと機械学習の技術を使って生成したAIのダンサーとのダンスバトルをイメージして制作しました。人間のダンサーには世界的にも有名なブレイクダンサーであるBBOY STEEZさん（THE F

【機械学習】YOLACT++によるインスタンスセグメンテーションを試してみた

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はYOLACT++という機械学習モデルのご紹介をしようと思います。はじめにYOLACT++はセグメンテーション用のモデルなのですが、以前にDeepLabというモデルもご紹介させていただきました。せっかくなのでまずは両者のモデルを比較してみようと思います。動画素材はブレイクダンスのエアートラックス（AirFlare）という技で人間らしからぬ動きをしていると思うのですが笑、それでもYOLA

【作品解説】PGGANを使って新しいダンス表現を模索する話【BreakGAN】

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はAI技術を用いて制作された映像作品「BreakGAN」のご紹介をしようと思います。はじめにまずは以下の動画をご覧ください。こちらの映像と音楽は機械学習の技術を使って制作されたものです。特に映像についてはBBOYでもある私が実際に踊っている様子をAIが学習して生成されました。以下で使用している技術や作品のコンセプトなど諸々ご紹介していきます！技術紹介今回は画像生成のためにPGGAN

【技術解説】PoseNet&DrumsRNNによるリズムアクションゲーム『BodyDrum』

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は体を使って操作するドラムリズムアクションゲーム「BodyDrum」のご紹介をしようと思います。はじめにまずは以下のデモ動画をご覧ください。 BodyDrumはWebブラウザ上で動作し単眼カメラのみで遊ぶことができます。また、AIがお手本となるドラム演奏を自動生成する機能も搭載しています。体を動かしながら音楽を奏でる楽しさを体験してもらうというコンセプトのもと2019年末に制作されました

【映像制作】BigGANを使って生物の進化を表現してみる

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はAIを使って映像を生成する制作プロセスをご紹介をしようと思います。はじめにまずは以下の動画をご覧ください。こちらはGAN（Generative Adversarial Network）と呼ばれる機械学習の手法を用いて制作した映像です。テーマは「生物の進化」や「生物地球化学的循環」にしてみました。画像はすべてGANが自動で生成したものとなっており、さらにTouchDesignerを使い

#AI