デザイニウム TECHブログ

【技術解説】Lightweight GANに浮世絵を学習させてグニョグニョ動かしてみた【東海道五十三次】

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はLightweight GANという機械学習モデルを使って浮世絵の画像を学習させてみたいと思います。はじめにまずは以下の動画をご覧ください。こちらは、Lightweight GANに歌川広重の浮世絵作品「東海道五十三次」を学習させモーフィング動画として出力させたものです。画像データは以下URLより使わせていただいております。 GANのGeneratorによる出力は基本静止画ですが、

【技術紹介】簡単にWebAR開発ができる「8th Wall」を使って顔面に動画テクスチャを貼ってみた

こんにちは。デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は、8th WallというWebARで気軽に開発できるプラットフォームの紹介をしようと思います。上の動画は開発の一例です。スマートフォンのWebブラウザ上でカラフルな謎の集団がARでリアルタイムに表示されています。はじめにそもそもAR（拡張現実）というと専用アプリのインストールが必要であったり、ユーザーが体験するまでのハードルが高いことが一つの大きな問題でした。そこで、Webブラウザ上

【作品解説】ダンスと機械学習をテーマにした映像「BreakGAN feat. BBOY STEEZ」を制作しました

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はブレイクダンス（Breaking）と機械学習をテーマにした映像作品「BreakGAN feat. BBOY STEEZ」の紹介をします。はじめにまずは以下の動画をご覧ください。こちらの映像は人間のダンサーと機械学習の技術を使って生成したAIのダンサーとのダンスバトルをイメージして制作しました。人間のダンサーには世界的にも有名なブレイクダンサーであるBBOY STEEZさん（THE F

デザイニウムTwitterまとめ【2020年7月前半】

デザイニウムのメンバーがTwitterでR&Dの様子をガンガン投稿しているので定期的にまとめていきたいと思います！まずは6月にジョインしたデザイナー瀬戸（ @Carabiner01）の投稿からスタート！からのHololens2によるR&Dがコチラ。ちなみに6月に入社直後に瀬戸とMattがコラボした檸檬堂のARもめちゃくちゃカッコよかったです✨（コカ・コーラさん連絡お待ちしていますｗ）続いてMatt（@mechpilot)と平澤(@eatora22)によるコラボ

【機械学習】YOLACT++によるインスタンスセグメンテーションを試してみた

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はYOLACT++という機械学習モデルのご紹介をしようと思います。はじめにYOLACT++はセグメンテーション用のモデルなのですが、以前にDeepLabというモデルもご紹介させていただきました。せっかくなのでまずは両者のモデルを比較してみようと思います。動画素材はブレイクダンスのエアートラックス（AirFlare）という技で人間らしからぬ動きをしていると思うのですが笑、それでもYOLA

【作品解説】PGGANを使って新しいダンス表現を模索する話【BreakGAN】

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はAI技術を用いて制作された映像作品「BreakGAN」のご紹介をしようと思います。はじめにまずは以下の動画をご覧ください。こちらの映像と音楽は機械学習の技術を使って制作されたものです。特に映像についてはBBOYでもある私が実際に踊っている様子をAIが学習して生成されました。以下で使用している技術や作品のコンセプトなど諸々ご紹介していきます！技術紹介今回は画像生成のためにPGGAN

【技術解説】PoseNet&DrumsRNNによるリズムアクションゲーム『BodyDrum』

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は体を使って操作するドラムリズムアクションゲーム「BodyDrum」のご紹介をしようと思います。はじめにまずは以下のデモ動画をご覧ください。 BodyDrumはWebブラウザ上で動作し単眼カメラのみで遊ぶことができます。また、AIがお手本となるドラム演奏を自動生成する機能も搭載しています。体を動かしながら音楽を奏でる楽しさを体験してもらうというコンセプトのもと2019年末に制作されました

【機械学習】TecoGANで学生時代の古い映像を高画質で見たかった話

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は機械学習の技術を使って昔に撮影した映像を高画質に変換してみたいと思います。技術紹介低解像度から高解像度に変換する画像超解像を行うために今回はTecoGANという機械学習モデルを使用します。これはGAN（Generative Adversarial Network）の一種であり、学習済みモデルも提供されているので誰でもすぐに試すことができます。またライセンスは「Apache License

【映像制作】BigGANを使って生物の進化を表現してみる

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回はAIを使って映像を生成する制作プロセスをご紹介をしようと思います。はじめにまずは以下の動画をご覧ください。こちらはGAN（Generative Adversarial Network）と呼ばれる機械学習の手法を用いて制作した映像です。テーマは「生物の進化」や「生物地球化学的循環」にしてみました。画像はすべてGANが自動で生成したものとなっており、さらにTouchDesignerを使い

【技術解説】tf-pose-estimationを用いたオーディオコントローラーを作ってみた

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は機械学習による骨格検出技術を用いたオーディオコントローラーのご紹介をしようと思います。はじめにまずは以下のデモ動画をご覧ください。骨格検出用の機械学習モデルから得られた座標情報をもとにオーディオの再生速度や周波数特性をコントロールしています。これらは単眼カメラのみを用いて動かすことが可能です。技術紹介骨格検出にはtf-pose-estimationという機械学習モデルを使用してい

【技術解説】DeepLabのセマンティックセグメンテーションとTouchDesignerを用いた映像制作

こんにちは！デザイニウムのBBOY/エンジニアの平澤（@eatora22）です。今回は機械学習の技術を活用した映像制作の例をご紹介しようと思います！はじめにまずは以下の動画をご覧ください。こちらの映像は、人物や自動車といった画像内の物体領域を識別してくれるセマンティックセグメンテーション（Semantic Segmentation）という機械学習の手法を用いて制作しました。ピクセル単位で識別された物体に対して視覚的なエフェクトを加えることで不思議な映像に仕上がりました

フォローしませんか？

#機械学習