インターンがやってみた! Unityによるアニメ制作
はじめまして。GREE VR Studio Laboratory インターンの中野です。明治大学先端メディアサイエンス学科で音声信号処理技術を研究している学部3年生です。アカペラサークルです。最近はGREE VR Studio Laboratory（以下、ラボ）でアバターをイキイキと動かすための音声信号処理に挑戦しています。
ラボは先日（2021年12月21日）、"メタバースでのクリスマスパーティー"をテーマにしたティザー動画『"Metaverse Christmas" @VRStudioLab』を公開しました。僕はこのプロジェクトで助監督と絵コンテを担当する機会をいただきました。以下、学生視点で製作を通して学んだことをまとめていきます。記事の最後にボーナス動画があるので、ぜひ最後までお付き合いください…！
Season's greetings、いわゆる「冬のご挨拶」的な動画に見せつつ、REALITYがメタバース/HMDといった次世代技術になったとき、「ありそうな冬のパーティーシーンを描いてみる」というコンセプトで製作されています。
６週間、5人のチームで製作。REALITYの既存の魅力を活かしつつ「スマホとHMDが共存するメタバース空間とそこで生まれるUXの設計」が技術探求テーマになっています。
どんな技術が研究されているか、想像しながら観てください！
製作工程
テーマ設定
11月中旬に“クリスマスパーティー”というテーマを設定し、ラボの研究内容からどんな描写があったらいいかを考え始めました。
このプロジェクトはラボの研究開発の成果発信でもある一方、開発中の技術の検証でもあるので「どこまで具体的に描くのか？」「どの技術要素を絵にするのか」といったプリプロは監督（白井D）とともに練りこんでいきました。
「遠くない未来に『こんなメタバースでのクリスマスがあったらいいね』」という感想が持てるように、様々な「未来のUX」が散りばめてあります。
絵コンテ
本格的な映像製作や絵コンテの経験はゼロだったので、「とりあえず議論が成立するぐらいの素案」を目標にして、ノートに描きました。ちょうど近所で開催されていた「庵野秀明展」はすごく勉強になりました（2回行きました）。
絵コンテはGoogle Spreadsheetと最終的にSlidesへ反映し、秒数配分や演出要素、実現したい技術要素が書き込まれていきます。Unityでモックアップの開発と撮影をして、Adobe Premiereを使って編集、デイリーでビデオコンテ(Vコン）を更新していきます。これは海外のCGアニメスタジオの映画製作でも同じ手法で製作されているらしく、、期間を通して監督とシーン担当者が毎朝・毎晩のラッシュ上映会（Zoom）でシーンの改善や追加、優先順位などを決める対話のために使われます。
ビデオコンテ（Vコン）
ビデオコンテ（Vコン）とは、絵コンテを1コマづつ実際の尺に合わせて表示させた映像を指します。絵コンテからでは意識しづらい、尺や効果音などの情報が入ることで、作品全体がどう進行していくのかわかりやすくなります。
VコンはAdobe Premiere Pro上でチームプロジェクトを作成し、シーンごとにシーケンスを分けることで複数人が同時に作業が可能な状態で製作のプリプロと本撮影までを進めます。Vコンのレンダリングは1日に2−3回ほど行い、時給が出るインターンなのでやったことの結果が時間で示せることは重要です！しかしチーム全員が学生インターンなので曜日によって出勤日が異なります。Premiereのチームプロジェクトは、gitによく似た履歴管理ができる機能です。デイリー担当のバトンを回すことで、その日のBefore・Afterが明確になりました。
コンテ上のシーンに合わせてUnityのSceneを用意し、チームメンバーのそれぞれに担当を割り振りました。解決すべき問題があればSlackとGithubでIssueが立ちます。最初は中野の紙芝居でしかなかったVコンにキャストであるアバターが入り、動かない状態から動き始め、だんだん表情やエフェクトなどの効果が入り、最後にはライティングやシェーダーなどの高度なレンダリングが施されていき、Vコンはいつしか完成した動画になっていきます。
Unity上で苦労したポイントは、技術的に大変だったポイント・学んだことで詳しくご紹介します。
本撮影とデイリーでのブラッシュアップ
ここまで紹介してきたプロセスで絵コンテを修正しながらVコンを進めながら、コンテ上のそれぞれのカットが動画のクオリティに耐えうるものになるかを判断し、12月10日（公開-10日）ごろにカット割りを確定しました。ここからはシーン毎にバラバラになっていたオブジェクトの配置やライティング・ポストエフェクトを統一するなど、一貫したビジュアルになるような調整と、それぞれの担当シーンのブラッシュアップを行いました。ルック開発（look dev）する知識は白井Dとやはぎさんが夏に取り組んでいてくれたおかげでラボ内で資料や知識が揃っていますが、それをチームすべてのシーン担当者が水平に実施していくことで一気に絵作り技術が向上していくのを感じました。
暖炉の灯で談笑する暖かな空気感を表現するために、細かなライティング、HDRでのカラー調整、見えるか見えないかわからないようなチリや煤といったパーティクルなど、レンダリングやポストエフェクトテクニックは白井Dから学びました。白井D自身も最新のUnity でのレンダリングテクニックをすごい勢いで検証していきました。
画質の向上は覚悟とやり直しの連続…。最後の最後のポストプロセスでの編集工程でHDRのカラートーン調整が浅くなる問題があり、全シーンのレンダリングパラメータをやり直したという思い出も、いまとなってはいい思い出です。続くパートで各メンバーに一部紹介してもらおうと思います。
ポストプロダクション
ポストプロダクションは外部の協力会社さんであるセツナクリエイションさんにお願いしております。MVなどを作られている映像製作会社さんです。各シーン担当者が撮影したベストのテイク（収録ファイル）をBOX経由でお渡しし、編集や画質調整、楽曲やビデオトランジションエフェクト、ロゴ付与などをして仕上げてもらいます。ただし編集さんにお渡しするまでの締切は厳守！なのでとても緊張感のある作業でした。でも実際の映像制作の世界でも同じようにポストプロダクション（通称ポスプロ）がいるんですよね。
技術的に大変だったポイント・学んだこと
各担当者にUnityでの絵作りテクニックをレポしてもらいました。
タイムライン制御 (堀部)
このプロジェクトでは、複数人で製作を進めたこと、各シーンに決まった尺があることからUnity TimeLineを導入しました。TimeLineでは、Recorder Clipを追加することで指定した尺で録画することができます。
この場合、420/60 = 7秒の動画を撮影できます。
さらに、カメラワークの設計・管理することもでき、なんども撮影することが気軽に行えるようになりました。これにより、シェーダーの変更による違いやアバターの向きによる印象の比較など、他の条件をそのままに気になるところを比べる動画素材を残すことができるようになりました。今回のプロジェクトを振り返るための素材としてとても役立っています。
録画設定やカメラワーク、アバターアニメーションを集約することで、撮影に関する情報の引き継ぎが容易になりました。これにより、GitHubでIssueが立ち、他のメンバーがヘルプに入る場合に取り組みやすくなりました。この後紹介するシグナルと合わせて、製作体制を整えることによる進めやすさを感じました。
シグナル (やはぎ)
Unity2019.1以降ではTimeline上でイベントを送信してオブジェクトに作用するシグナルを使用することができます。今回のUXDevはメタバース空間なので主人公のアバターが空間内を自由に移動することを想定して（事前に作った動作を再生する）AnimationではなくCharacterControllerを使って操作しています。しかし映像制作をする上ではキャラクターを毎回同じタイミングで同じ方向に動かす必要もあります。Timeline上でシグナルを使ってキャラクターを操作することで、他のキャラクターのアニメーションやカメラワークと合わせてアバターを操作することができます。
画質改善 (白井D)
画質改善において重要な考え方として、一般的にVTuberやVRSNSなどのアニメ調リアルタイムキャラクター表現で使用されているアバターはMToonをベースにしたUnLit（ライト無し）で描かれていることが多いという点です。これはCGアニメーションで使用されるアニメ的表現…例えば減色(Toon shader)、主線描画(Outline)、キャラクタ自身の自己影(Self-shadow)、そしていい感じの影を生むための光源のライティングが異なります。もちろん何でも増やせばいいということはなく、リッチな表現をすれば制御も難しくなり、処理は重くなり、リアルタイムでは動かなくなります。PCで最高品質のレンダリングを試しつつ、iPhone/AndroidなどスマホやHMDなど複数のプラットフォームやレンダリング手法を往復させて、「最高画質」と、「まあまあ成立している画質」そして良く見慣れたUnLitでの「満足できる画質」で天井と底を探り、印象と品質とユーザ体験のバランスを保ちつつUXを評価していくことが重要と考えます。細かい話ではUnityのBuilt-In Render Pipelineと、比較的新しい Universal Render Pipeline（URP）とHigh Definition Render Pipeline（HDRP）はどちらも高い拡張性を持ったUnityの新しいレンダーパイプラインです（興味のある方はUnity公式動画をどうぞ）。一方で既存の手法からすると、アセットや製作パイプラインに破壊的な変更が必要になる選択肢でもあります。そのような考え方で、今回のプロジェクトでは過去の経験から RealToon というサードパーティー製のシェーダーアセットを採用しています。RealToonも非常に多様なシェーダーやパラメータが利用できるので、今回は3色カラーライティング、HDRトーンリマップ、自己影ありToonでありつつも、控えめの主線で、現在のREALITYからさほど遠くないルックで調整していきました。
変身シーンのアニメーション （中野）
本作の見どころの一つになっている「キャラクターのコスチュームが変化するカット」（以下、変身シーン）、当初のVコンテではこんな感じでした。
しかしこのVコンテからは、当初のシナリオにあった『ひとりぼっちだった主人公の女の子が、メタバースでフレンドに出会い、ピアノ演奏をする勇気をつける』という心情風景が伝わってきません…。何か微妙だ…ピアノ演奏シーンより前に何かしないといけない…。当初ピアノ演奏は普段着っぽいジーンズで演奏していましたが、武政さんのセレクションでステージ衣装になりました。しかし単にシーンの切れ目で「服が変わる」という感じで無機質に描いてしまうと『イマイチ伝わらりづらい…』という課題がありました。
コンテを書いたのは他でもない僕なので『微妙だな…』と思っても、忙しい中で口に出すのは勇気がいります。追い込みの最後「1日だけチャレンジできる」という日ができ、『完全に置き換えるつもりで魔法少女を作ろう！』『僕と白井Dで並列で！！』とチャレンジさせていただきました。この『チャレンジ日』を作るために他のシーンを捨てたような気もしますが、英断だったと思います。
僕はパーティクルによる絵作りは初めてだったので、パーティクルのイロハを勉強するところから始まりましたが、白井DにPlayStation2時代からの魔界のパーティクルテクニックを伝授され、そこにカメラワークをC#スクリプトで追加し、さらにその微妙な関数に白井Dのアニメーションテクニックが伝授され…短い時間ですが、おもしろい絵になったと思います。これは時間があったらもうちょっとやってみたいです…！
ジャンケンのアニメーション (武政)
『メタバースにおいてジャンケンを実装するならどのようになるか？』のプロトタイプに挑戦しました。私自身はアバターのボーンレベルでのアニメーション操作を初めて自分で行う機会だったので、初めはキーフレームを無駄に打ちすぎてカクカクしたぎこちないアニメーションになってしまいました。レビューで白井Dに『美しいアニメーションはキーフレームが少なくて美しい』というヒントをいただいて、次はキーフレームを減らしてみましたが、今度は少なすぎる上に、補完カーブの考慮が足りず「ぬるぬるしたアニメーション」ができてしまったりと難しかったです。知見としては、ジャンケンのようにタイミングや勢いが重要なゲームは特に「手を出す瞬間」などメリハリをつけないとジャンケンをしているようには見えません。白井Dをはじめ周りの方々にアドバイスをしていただきながら、まあまあ見れる絵になったのではないかと思います。まだゲームシステムとしての課題点も多く、残念ながらサンタクロースが来るまでには納得がいくレベルまで実装できませんでした…が、冬休みに「ひとりハッカソン（業務外）」を行って、アバターで動くジャンケンゲームを個人制作しました！対コンピュータでブラウザで動きます、ぜひ遊んでご感想ください！
他にも武政さんが担当したピアノ演奏シーンなどもあるのですが、新企画や学会発表の準備で忙しそうなので、以上でまとめに入りたいと思います。
チーム紹介
中野さん
明治大学先端メディアサイエンス学科で音声信号処理技術を研究している学部3年生です。アカペラサークルです。このプロジェクトでは、変身シーンや歌唱シーンの他に、助監督と絵コンテに挑戦しています。
やはぎさん
日常的にVRChatやREALITYなどでアバターで生活しているデジタルハリウッド大学1年生です。ラボではXRメタバースのためのUX開発やグラフィックスとプロトタイピングを担当しており、今回のプロジェクトではテクニカルディレクターに挑戦しました。
武政さん
ARを使った遠隔コミュニケーションの研究をしている和歌山大学大学院の修士1年生です。今回のプロジェクトでは、ジャンケンシーンやピアノ演奏シーンを担当しました。
堀部さん
明治大学4年生で音声に関係するメディアサイエンスの研究をしています（詳細）。今回のプロジェクトでは、進行管理とグラフィックスのコンポーネント化を担当しました。
白井D
ラボのDirector、 白井はかせ。今回のプロジェクトの総監督。研究開発から絵作りまで多彩な人物（詳細）。
まとめ
中野：ここから先はバーチャル対談形式でまとめていきたいと思います。まずは白井D！お疲れ様でした！
白井D：いやいや、皆さんほんとお疲れ様でした。
中野・堀部・武政・やはぎ：間に合ってよかったです…。
白井D：中野さん絵コンテと最後のアカペラ、良かったですよ…さすがアカペラサークル。
中野：いや、ストーリー上の設計ですが、あれ実際いたら全部持っていく感じでヤバいやつです…。
白井D：まあそういう元気あるのが学生らしくていいよね！でも、いかがですか？自分の絵コンテがVコンになって、最後にはアニメーションショートフィルムになりました。
中野：頭の中にあるシナリオをどうしたら伝わるような絵コンテにできるかという部分でかなり苦戦しました。ただ、皆さんがそれぞれのシーンを作っていく中で演出のアイデアを出してくれたおかげでいいショートフィルムができたと思います！
白井D：技術面でも製作面でも、私から吸い取ってくれることが多くて良かったです！
中野：堀部さん、武政さんはいかがでした？
堀部：スクリプトを使ったコンポーネント指向が楽しかったです。勉強になりました。
武政：私は技術難度と時間の関係で悔しい思いもしたところもあったのですが、めちゃくちゃ勉強になりましたね・・・まあまだ終わってないのでがんばります（意味深）。
中野：やはぎさんは技術面のリード、お疲れ様でした。
白井D：やはぎさんはTD（テクニカルディレクター）として経験になりましたね～。
やはぎ：パイプラインを作るってしんどいなと思いました。でもUXDevは夏から継続だったので、いろいろなことを学んで今回の改善に役に立ちました。
武政：そういえば家にQuest2が届きました。サンタクロースでしょうか？
堀部：僕も届きました…
中野：僕は元から持ってましたね
やはぎ：僕はもう置く場所ないぐらいありますね、Valve Indexとか…
白井D：いい会社ですね…（にこにこ）
中野：今回の動画のようなUnityシーンをHMD化するのって、大変そうですよね。
白井D：そうですね、ラボは今回の動画のように公開する2D映像版だけでなく、Quest版のインハウスデモも開発しています。2D映像版で作ったモックアップとなるUnity Sceneの中でも、「より深い手触り感を検証するべきシーン」は複数のクラウド経由接続のQuestでREALITYのアバターを使って検証する工程に進みます。
やはぎ：夏ぐらいはその仕事をやっていましたー。
白井D：レイアウトを意識したカメラの動きやタイミング、アバターのアニメーション、エフェクトといった2D映像版がそのまま使える場合もあれば、VRSNSになった瞬間に「なんだか微妙な感じがする…」という感想を持たれることもあります。ラボではその要素が何であるか？そしてそれを解決する技術要素を明らかにする研究をモックアップ開発を通して解明していきます。
武政：やったー。Quest開発だー。
堀部：WebXRのHubsでも使えそうですよね。
やはぎ：実装したいことが沢山あるのでがんばります！
中野：メタバースR&Dの登山、まだまだ続くんですね…！
白井D：そうですね！ちょうどラボの活動紹介動画も新バージョンを公開したところです。これからも世界でも珍しい「メタバースのUXを開発するラボ」の挑戦を楽しんでいきましょう！
GREE VR Studio Laboratoryの活動を紹介する動画です。
ぜひこちら（https://j.mp/VRSYT）から「チャンネル登録」をお願いいたします！
REALITY株式会社の採用情報はこちら
グリーグループの新卒採用窓口はこちら
新卒採用(2023年卒)も始まっています！
GREE VR Studio Laboratory にご興味ある方はこちら[Web]、インターンのご相談はTwitter@VRStudioLab まで