Live2Dでバーチャルライブをやってみた

まっちゃん

はじめまして。まっちゃん(matuda890)という名前で活動しているものです。
Twitter：＠matuda890

私は現在大学院生として学校に通っておりまして、”バーチャルライブ研究会”という学内サークルに参加しております。
バーチャルライブにおけるメディア表現の可能性を研究することを目的としており、日々活動しています。そして一般向けにライブを開催する活動も行っており、現在10名ほどで活動しています。

今回のライブでLiv2Dを用いてキャラクターをステージ上で歌ってもらうことができましたので今回はそれについてまとめていこうと思います。
あまりこういった形でまとめたことがないので拙い文章ですが見ていただけると幸いです。

はじめに

まずは説明するより実際にバーチャルライブの映像を見ていただけると幸いです。また、書く内容について簡単にまとめた動画も用意しております。


解説動画
今回紹介する内容を5分くらいにまとめた内容です。Live2Dあかりちゃんに解説をしてもらいました

原曲：アカリがやってきたぞっ/GYARI

完成までの流れ

昨年11月：alive2018会場でひなビタライブの基調講演を聞いて自分もLive2Dでバーチャルライブを行うことを決意
今年2~3月：構想を練る(どういうタイミングでどういう動きをするか想像)
4月：仕様書作成、イラストを依頼
6月：デザイン完成
8月中旬：パーツ分け半分完成、Live2Dモデリング開始
↓原画修正＆パラメータ作成
10月9日：パーツ分け完成
10月16日：モデリング、パラメータ作成終了、アニメーション作成開始
10月30日：アニメーション完成
10月31日～11月3日：動画編集、背景動画作成
11月3日：本番
(流石にアニメーションに取り掛かるのが遅すぎ…)

先行事例

ひなビタ♪ライブ2018/Live2D Creative Studio

(追記)
コトメリ

Live2D

立ち絵・モーション
正直特に凝ったこともしてなければスキルもないので解説できることがないですが一応…

モデルは原曲のイメージである制服、そして曲の途中で衣装が変わればバーチャルライブ表現として面白いんじゃないかと思い、私服の立ち絵と2つ用意してもらいました。

立ち絵

モーションはこれといって特別な動きを作っているわけではなく自由に大きく動かす目的で作成しました。肘は内側にも外側にも曲げたかったのでカワナミ様の記事を参考に作成しています。


あと他にも曲に合わせて動かす用の素材を用意してもらい動かしました。
一瞬しか使わないものも多かったですが原曲のコミカルさは再現できたかなと思います。

画像2


アニメーション

近くから撮影してみました


基本的に原曲のイメージを崩さず明るくコミカルな動きを意識しつつ、しかし原曲PVのように分身せず、常に表示するモデルは1つのみにし、ライブのステージ上での紲星あかりはどう動くかを考え作成しました。
なので序盤はかなり忙しい感じの仕上がりとなってしまいました。
逆に後半はコーラスメインなので落ち着いた感じになってます。
個人的にはガタンゴトンの部分がいい感じのモーションになったかなと思います。

5分近くのアニメーションを全部点を打つのは流石に骨が折れましたが、この曲は同じオノマトペが繰り返し使われる場面が多かったのでテンプレートを作成し多用しました。あとは歌詞のタイミングごとにマーカーを付けて音と動きを合わせました。(ちょっとずれてるとこもあるけど…)
また、パラメータの管理をしやすくするため、動きの繋ぎの際にパラメータを基準値に戻したりしました。

画像3

画像4

苦労したのは口の動きでした。母音の口の動きは作ったのですが音源の都合ボーカルと楽曲が合わさっており、リップシンクが使えなかったので全て手打ちするしかありませんでした…

設営

ここからはLive2Dからは逸れた話になります。

スクリーン
キャラクターを投影しているのはポリッドスクリーンというもので2013年にニコニコ技術部が開発した、低コストでかなりのクオリティを引き出せる透過スクリーンのことであり、そのフィルムには農業のビニールハウスシートを使用しており、企業のバーチャルライブで用いられる透過スクリーンよりも安価で作成することができます。

画像5

縦2m、横3mのスクリーンであり、ここに単焦点のプロジェクターで等身大で投影することで召喚を行っております。

ですがポリッドスクリーンは環境光に弱くライブの照明で周りを強い光で照らしてしまうとキャラクターが透けてしまう恐れがあります。
そこで今回は厚さ0.1mmの厚めのポリッドを2重にすることで環境光に強いスクリーンを作成しました。

しかし2重にすることでスクリーンが少し白く濁ってしまい裸眼で見た際にぼやける印象がありました。また、今回の紲星あかりちゃんの場合髪の色や肌の色、更に服の色が白いのでかなり白飛びしている印象がありました。逆に黒い服は透過してしまうので白で縁を取ることで輪郭をはっきりさせました。

画像6

(写真映りは良い)
できるかぎりスクリーンにしわを作らないことがキャラクターを綺麗に表示するコツであり、同時に存在感を高めています。

背景スクリーン
演出目的でメインとなるポリッドスクリーンの後方に白い段ボール4×11枚敷き詰め、そこに3840×720の映像をプロジェクター3台で分割投影することで実現しています。なのでメインのスクリーンと合わせるとプロジェクター4台で同時に出力しています。

画像11

透過スクリーンの性質上どうしてもキャラクターが平面的に見えてしまいます。そこでスクリーンをレイヤーに見立てて、キャラクターと背景に分けて距離をとることで立体感を演出しました。
(この巨大スクリーンで映像見るだけでも楽しい…)

画像7

あかりちゃんの場合では文字のみの表示でしたが背景やパーティクル映像を用意することで没入している感じの表現ができると思います。が、背景による環境光も増えてしまうので色合いや輝度などを考えて投影する必要があります。

画像8

(Model:Sour式鏡音リン)


ちなみに裏はこんな感じ。ほぼガムテープと両面テープで張り付けてます。人員が不足しており、設営に半日かかるのでなかなか投影実験ができませんでした。

画像9

ステージ
恐らくバーチャルライブを行うにあたって最も重要な要素だと思われます。ステージの床は非常に重要でこれがないとキャラクターは浮いて見えてしまいます。Live2D Creative Studioさんのひなビタ♪ライブでは映像内にステージと影を用意することでキャラクターの存在感を表現していましたが今回我々は現実空間にステージを作成し、キャラクターと床の接地感を表現することで立体感を表現しました。

画像10

床の材質は光沢のある木材を使用して、キャラクターの足がプロジェクターの光や照明で反射されるようになっています。そしてキャラクターを浮かせないように床にしっかりと接地させることであたかもステージ上に存在しているかのように見せています。

おわりに

今回紹介した技術以外に照明や音響、出力システム等の様々な技術がバーチャルライブを行うにあたって使われていますが私の担当ではないため、割愛させていただきます。

今回のLive2Dによるバーチャルライブですが反省点としては映像制作が大幅に遅れ投影実験がなかなかできなかったことが挙げられます。実際に投影してみないとわからないことが多いことを痛感しました。
また、全身モデルなのに足の動きが少なかったかなと個人的に思いました。ステップなどライブっぽいモーションを増やしていきたいところです。


観客はLive2Dのキャラが動いてるとは思わず3Dだろうが2Dだろうが等しくキャラクターがそこに存在していると思ってライブを鑑賞しています。ですがモーションキャプチャで動かせる3Dを使わず、あえてLiv2Dを使ってバーチャルライブをするのですからLive2Dにしかできない表現を演出する必要があると私は考えております。
今回は残念ながらそれができませんでしたが、来年にはLive2Dにしかできないライブを制作を目指していきたいです。

拙い文章と動画でしたがここまでご覧いただきありがとうございます。

次回のLive2Dアドベント・カレンダー( https://adventar.org/calendars/4268 )担当は山田ゆこ(@halchoka)様です。よろしくお願いします。


-----------------------------------------------------------------------------------
所属サークル:OITバーチャルライブ研究会/Project VOIT
Twitter：oit_vlken