ARエンジニアと映像クリエイターが融合しARによるMV表現に挑戦した一日

こんにちは、渋谷のIT企業でXRエンジニアをしているイワケンです。

2020年2月16日に
映像クリエイターwithARハッカソン【withARハッカソンvol.06】を企画&ファシリテーターとして開催しました。

月1回に開催しているwithARハッカソンも今回で6回目になります。この記事はハッカソンの開催レポートとなります。

当日の流れ

・オープニング、テーマ発表
・チーム分け、アイデアブレスト
・フィールドワーク
・開発タイム
・撮影、編集
・発表

テーマはMV表現のアップデート

今回は映像クリエイターとARエンジニアとのコラボレーション、そして新たな表現の実験場をコンセプトとしたハッカソンといたしました。

今回のテーマは「MVを現実空間で再現し、表現をアップデートする」

です。

映像クリエイター側の課題としては

・リアル寄りの背景を映像で作る時に、3Dモデリングを行うのは労力がかかる
・実写の撮影を素材にする場合、人や建物をマスクをとってエフェクトを付与するのは非常に労力がかかる
・実写の撮影とエフェクトの付与の工程が別のため、イテレーションを回しづらい

などがあるらしく、それらを解決するAR技術によるMV表現への挑戦、すなわち実写撮影をしながらリアルタイムでエフェクトを付与して出力する、といったことが今回のハッカソンで挑戦したいテーマでした。

開催協力は、監督・撮影・編集として先日純猥談をリリースしたYPさんと、今回のMV素材を提供してくださったNAKAKENさんです。

今回集まってくれたARエンジニアは5名。
各所で活躍する腕利きの個人AR開発者たちです。

xRギルドのsatoshi0212 さん, ホロラボのヒノボルさん, メルカリのkokoさん, Filter Developerのkoyoさん, VR技術者のナナキさんと作品の方向性について話すYPさんとイワケン。

MVのサビを3つのシチュエーションで作る

今回、ハッカソンでARによるMV表現に挑戦してもらうにあたって、ベースとなるMVと素材を用意し、各チーム同じ曲、歌詞に取り組んでもらいつつ、ARカメラでの撮影のシチュエーションだけ分けるという方針で動いてもらいました。

今回、ベースとするMVをこちら

クレジット
曲: 「2020」by 1-SHINE 
映像素材: NAKAKEN 

こちらのサビ (00:45~01:05くらい)をチームごとにシチュエーションを分かれてAR表現を作ります。

1つ目のシチュエーションは渋谷JR高架下線トンネル

2つ目はシチュエーションはスクランブル交差点

3つ目のシチュエーションは渋谷駅の岡本太郎作「明日の神話」前
(撮影時にセンター街に変更)

それぞれの場所にARエンジニアと映像クリエイターがフィールドワークしながらイメージを膨らませます。

同じ歌詞にもかかわらず、撮影場所を変えるだけ、もしくはARカメラのエフェクトを変えるだけで、違うMV表現になるというのが面白いポイントです。

6時間の開発タイム

今回は技術スタックごとに3チームに分かれ、開発に取り組みました。
今回の参加者では、Swiftチーム、Unityチーム、Spark ARチームに分かれました。

アプリを持って映像ディレクターと共に撮影へ

ARエンジニアと映像クリエイターがアプリがインストールされたスマホを持って渋谷の各所で撮影を行いました。スタビライザーなどを使い、ガチンコの撮影です。

発表タイム

そしてできあがった作品がこちら...!

スクランブル交差点

koyoさんの作品

Spark AR Studioによるインスタフィルターでの実装。
人の部分だけゆがみのエフェクトを掛けています。人の部分だけエフェクトをかけることは映像編集では非常に労力がかかる作業のため、かなり有用とのこと。今後インスタフィルターとしてリリース予定らしいです！

渋谷JR高架下線トンネル

ヒノボルさん、ナナキさんの作品

トンネルのメッシュを取得し、トンネルに沿った歌詞の文字を登場させるという表現。映像編集では、文字の反射込みでエフェクトをだすのが労力がかかるため価値があるそう。空間スキャンを利用したAR表現は今後面白そうですね！！

渋谷センター街

satoshi0212さん、kokoさんの作品

タップしたところに文字を出力させるAR表現。リアルタイムに表現を創出できるため、現場で多くイテレーションを回すことができます。既存の映像編集ではできなかった制作過程です。

まとめ

今回、MV表現をARでアップデートするをテーマにハッカソンを行いました。今回のイベントの意義は

・ARエンジニアと映像クリエイターが共創することで、お互いの技術の幅や課題感を知るキッカケとなった
・映像クリエイターによる映像編集の課題をAR技術によって解決できることをプロトタイプによって示すことができた

だと思っております。特に共創体験は大きく、今後新たなコラボレーションが起きることを期待しています。

今回の参加者の感想
・この表現でも認められることが嬉しかった(エンジニア)
・映像技術で無理なことがARだと1日でできてしまった(クリエイター)
・何ができて何が出来ないのかを知れた(プランナー)
・1日で実装までできるシステムに驚いた(アーティスト)

ものすごい、熱い一日になってよかったです...!