バーチャル空間でのHoloLens演出を実現するまでの道のり

こんにちは、ARエンジニアのイワケンです。
5/28にサイバーエージェント主催のテックカンファレンス CA BASE NEXT で登壇し、HoloLens演出をしました。

Youtubeでは450回再生、SlideShareでは720viewありがとうございました。

また、社内外の方から「あのプレゼンよかったよ！」といただき大変うれしく思います。

バーチャル撮影システムによるMixed Reality表現 | CA BASE NEXT - CyberAgent Developer Conference by Next Generations

この登壇の見どころは、バーチャル撮影システムを用いたHoloLens演出です。

このHoloLens演出は、3年前私がHoloLensとお別れした時からずっとやりたかった表現でした。
2016年の学生の時にHoloLensに出会い感動し、2018年にお別れし、2021年にCyberAgentのNext Experts制度でHoloLens 2に再会しました。そこからHoloLens × バーチャルイベントでの表現を研究していました。

プレゼンテーションを3D的に表現するのは私が好きな表現です。
2018/06/24 xR Tech Tokyo #10 でUnityとJINS MEMEを使ってキャラクターと連動した表現のプレゼンテーションをしました。(スライドがUnityのEditorなのです)

そういった中で2021年5月28日、念願のHoloLens演出によるプレゼンを最高の舞台で行うことができました。

今回、実現するまでの打席に立つまでの準備についてこの記事では書きたいと思います。

運営・開発・登壇の3つの関わり方

私はこのCA BASE NEXTへ運営・開発・登壇の3つの関わり方をしていました。この3つの関わり方ができたからこそ、今回のHoloLens演出を実現できたと思っています。

私自身は、打席でバットを振るよりも、打席を作り上げるのが好きなタイプ。ということで、今回のバットを振る打席を作る過程もとても楽しかったです。

運営としての関わり方

このCA BASE NEXTの企画自体は2021年の1月ごろから始まっていました。
この時は、コンセプトも予算も規模感もコンテンツも決まっていない状況で、とりあえず「若手エンジニアとデザイナー向けにテックカンファレンスをやる」ということが決まっていて、若手のCG技術担当というところで私に声がかかりました。

運営としての私の動きとしては、

・運営の企画・クリエイティブチームと、CyberHuman Productions (CHP) を連携させ、バーチャルイベントを実現する
・「21世紀の創造力を」を体現する表現を作る

この2点を個人ミッションとして動きました。

運営の企画・クリエイティブチームは、入社4年目以内の若手中心で、バーチャルイベントを制作した経験がないメンバーでした。CHPとの連携も初めてです。その中で、ただ実現するだけでなく、21世紀の創造力を体現する表現にチャレンジし、実現することが私の目標でした。

私は3つの企画の提案と企画のすり合わせに関わりました。

・バーチャルステージの登壇
・バーチャルステージのパネルディスカッション
・バーチャル社員とリアル社員の対談

メンバーアサイン、情報共有、MTG、企画すり合わせ、予算獲得... 
開発や制作に集中するまでの座組作りからすでに結構ドキドキものでした。

開発として関わり方

今回私は、開発ディレクターとエンジニアの2つの役割で開発に関わりました。

イワケンの役割
・バーチャルステージの全体のプロジェクトデータ設計
・バーチャルステージの基本演出実装
・バーチャルステージのHoloLens演出実装
・VTuber演出のプロジェクトデータ設計

Unreal Engine上でのバーチャルステージの様子

今回AICG事業のエンジニアとCHPのクリエイター10名ほどで制作したのですが、以下の開発は私以外の人に分担しました。

・バーチャルステージ+演出のCG制作
・BodyTracking, Light連動機能の実装
・VTuber演出のプロジェクト実装全般
・XRプレゼンテーションの実装
・照明、キーイング調整

今回難しかったのは、

仕様が変更する中で、10名が作業分担できるようなデータ設計をして、実際に分担すること

に加えて

技術的チャレンジを実現すること

です。

今回、運営であること活かして仕様をある程度コントロールしつつ、仕様変更を見越したデータ設計や、便利ライブラリを準備することで、作業分担を行い、技術的チャレンジをすることができました。

登壇として関わり方

私は今回のカンファレンスの登壇者でもありました。
今回私が登壇してHoloLens演出をするにあたって、次のような条件が必要でした。

・登壇者として選抜されること
・バーチャルステージで登壇する権利を得ること
・HoloLens演出してよい権利を得ること

ありがたいことに私はNext Expertsという制度に認定されていたため、バーチャルステージで登壇することができました。

さあ準備は整いました。

時間は25分、スライド + HoloLens演出をどのように表現するかを考えました。

ただ、HoloLens演出見せたいだけにならないよう、演出に意義を持たせるスライドのストーリー構成を考えました。(スライドはデザイナーさんにブラッシュアップしていただきました。ありがとうございます)

「MR表現はデバイスを付けている人にしか伝わらない、
バーチャル撮影システムを使うことで、映像としてMR表現を届けることができる」

これが今回の発表で一番言いたかったことです。今回のデモで私が体験しているMR表現を皆さんに伝えることができました。

そして、肝のHoloLens演出は、シンプルかつパワフルに見えるような演出を狙いました。

シンプルさは白の骨組みCUBE
パワフルさは前後関係が変わる表現
おまけでスライドから飛び出る演出を付け加えました。

シンプルかつパワフルにすることで、エンジニアにも非エンジニアにも心に響くデモを披露することができました。その声をいただくのが本当にうれしかったです。

結構ギリギリまで演出とスライドを考えていたのですが、これは私が運営&開発だからこそできたことだと思います。本当に恵まれた環境でした。

関わった人全員に尊敬と感謝を

今回、CyberAgentの若手運営チーム、CHPのエンジニアとクリエイターと関わることで、今回のHoloLens演出を実現することができました。

この4,5か月の準備期間、私は幸せでした。

それは1つは、長年の夢のHoloLens演出の実現へ向かっているということもありました。

しかし、それよりも
一緒に関わった人が、皆熱量が高く、尊敬できて、一緒に活動してとても楽しかったことが最高でした。

みんな仕事へのコミットメント、そして専門性が高く、尊敬できるところがたくさんありました。一緒に活動できたことに最大限の感謝を伝えたいです。

写真はないのですが、CyberHuman Productionsのエンジニア、クリエイターメンバーにも最大限の感謝をお伝えしたいです。私一人では実現できない難易度と物量でした。ありがとうございます。

最後にHoloLensミートアップの宣伝

今回の技術的裏側の話は6/16のHoloLensミートアップで話したいと思いますので興味ある方は参加申し込みよろしくお願いします！

Tokyo HoloLens ミートアップ vol.26 (2021/06/16 19:00〜)