【withARハッカソンvol.04】 ダンス with AR 振り返り

ふしっきー

2019/12/22に開催されたwithARハッカソン「ダンス with AR」にて、開発時間５時間とタイトながら成果物をきちんと形にできまして（結果的に投票で優勝をいただけました）その時のチーム開発の進め方がとてもうまくいったと思うので、どのように進めたかやモチベーション、経緯などを綴っていきたいと思います。(後ほど運営から公式ブログが出ると思います)

成果物

何をやっているかというとARKit3のMotionCaptureでダンサーの動きを２体の3Dモデルに反映し、ダンサーの動きに合わせてキラキラエフェクトや文字を出したり、画面タップにより下からエフェクトを出したり、三角形の色を変化させています。

withARハッカソンとは？

AR領域と異業種の掛け合わせを軸としたハッカソン形式のイベントです。
タピオカや空間など毎回掛け合わせるテーマが違うのですが、今回のテーマはダンスでした。ARKit3のMotion Capture・People Occulusionが登場した文脈でダンスと組み合わせて何かできないかという意見が出たのが発端です。

ダンス with AR概要はこちら

モチベーション

まずそもそものモチベーションですが、僕自身学生時代から趣味でダンス(ブレイクダンス)をやっており、前々からダンスとARを組み合わせて何かやりたいという気持ちは持っていました。ARKit3が出てきて以下のようなデモを作ったりしていましたが、正直まだパフォーマンスや精度の部分でもダンスで使うのは時期尚早なのではないかと二の足を踏んでいました。

　ですが、withAR主催者イワケンくんの熱烈なPUSHにより
「ああ、これはやらねばならんな笑」と思い至りました。
お誘いは僕がARKit3を触っているということで当日のメンター枠をお願いできないかとの誘いでしたが、参加者としてもゴリゴリ開発していいとのことで、
「これはもう負けるわけにはいない笑」と思いました。
開催までの時間がタイトだったのですが、メンターとしてどうにか最低限のサンプル(Unity, ARFoundationを使用)を事前に参加者に配ることができました。

前置きが大分長くなってしまいましたが、ハッカソン当日どのように進めたかを綴っていきます。

当日の流れ

まず当日の朝にダンススタジオ集合というのが前代未聞ですね。これはよくダンサーが練習に使うスタジオワークルというダンススタジオです。僕もたまにお世話になっています。


そこで概要説明、ダンサーによるパフォーマンス披露、ARデモ披露、チーム分けを行いました。

チームメンバーの分類としては
「エンジニア」、「エフェクトデザイナー」、「ダンサー」、「観覧者」
で、公平にジャンケンで買った順に別れてチームを編成しました。観覧者も容赦なくバリバリメンバーに加わってもらいました笑

メンバーの役割分担

僕のチームのメンバーの分類としては以下のようになりました。

- ふしっきー (ARエンジニア)
- ななきさん (エフェクトデザイナー)
- わかにゃん (ダンサー)
- 五味ちゃん (観覧者)

チームに別れてまずやったことは、
- 自己紹介、メンバーのスキルセットの把握
- パフォーマンスのコンセプト決め
です。

ダンススタジオで「自己紹介」、「メンバーのスキルセットの把握」をした後に XR-Hub Cafe に移動してコンセプト決めを行いました。
ARKit3でこういうこともできるという技術デモ（モーションキャプチャで別のモデルを動かすもの）をメンバーに見てもらった後に、時間を決めてアイディアの発散をし、やりたいことをメンバーでひたすら挙げてもらいリスト化しました。そこで決まったコンセプトは、メンバーのわかにゃん（ダンサー）が事前にハッカソン参加者に送ってくれていたダンス振り付け動画の楽曲の以下のMVを再現するということでした。

やりたいことを全て挙げ出した後に、そこから具体的に実現したいこと（できること）に絞っていきました。最低限やりたい部分は以下のようになりました。

最低限実装すること
- ダンサーが途中から増える
- 女子感あるキラキラを出す
- 特定の動作で歌詞を表示する
- 後ろのネオンの三角形 (インタラクションで色変わる)

補足説明
　ダンサーが途中から増えるという項目は僕が是非やりたいと言ったところで、チームメンバーにも技術デモとしてキャラクターを動かすものを見せました。女子感あるキラキラは成果物動画の最初の地面から出るポワポワとダンサーの手首から出ているエフェクトです。
　ハッカソンの裏テーマとして、AfterEffectsとの違いが出せるようにしてほしいというものがありました。よくあるダンスの映像編集でAfterEffectsであとからエフェクトをつけるというのがあり、AfterEffectsではなくARでやることの必要性を示してほしいというテーマです。少ない時間でそのテーマを実現するために、インタラクションとしてタップ入力で後ろのネオンの三角形の色を変化させるという処理を行いました。記事上部の成果物ではわかりにくいかも知れませんが、三角形の色変更は画面タップにより行っています。

さて、やるべきことは決まったので、そこから各自に具体的にタスクの割り振りを行いました。

タスク割り振り

ふしっきー (ARエンジニア)
- 3Dモデル表示、モーション再生基盤づくり
- モーションによるエフェクト発火調整
- エフェクト組み込み

ななきさん (エフェクトデザイナー)
- パーティクル作成 (下からポワポワ、爆発・キラキラエフェクト)
- 三角モデリング 、色変更プログラミング

五味ちゃん (観覧者)
- モデル選び
- ARKitでモーションで検出できるモーションの検証
- 諸々サポート

わかにゃん (ダンサー)
- 成果発表でのパフォーマンス
- モデル選び、エフェクト選定

大枠の流れとして
ななきさんはひたすらエフェクトやモデルを作成。本当にクオリティが高いエフェクトをすぐにあげてくれて素晴らしかったです。五味ちゃんとわかにゃんは一緒にモデル選定（僕はVRoidHubでフリーで使えるVRM形式のモデルを選んでと言っただけで、後は二人でとても迅速に動いてくれました）。わかにゃんはななきさんがUnityで提示するエフェクトとひたすらにらめっこして良いと思うものを選定してくれました。僕（ふしっきー）はARの技術検証ポーズ発火条件を組み込んでビルド）、ななきさんから送ってもらったエフェクトをひたすら組み込みなどでした。ARKitを実機で動かす際に、「こういうポーズは取れそうです！」など五味ちゃんが積極的に検証してくれたのも大変ありがたかったです。とにかく暇している人は一人もおらず、とても良いチームの動き方ができました！ダンサーであるわかにゃんがひたすらUnity画面とにらめっこしながらエフェクトを選定しているのはなかなか感慨深いものがありました。

当日の写真

　一応僕がメンターという立場上、ビルド時間を使って各チームの進捗などを聞きに行ったのですが、なかなか詰まってしまっいるチームが多くいました。少し聞いただけでは解決の目処が立てない深い問題で、あまり力になれませんでした。言い訳をしてしまうと、今回成果発表を見にくる方が多く参加し、その中にアーティストさんやパフォーマーもいて、大変多くの人が興味をもってくれていました。そんな中、なんとか自分のチームだけでもちゃんと動くデモを見せねば、との思いで自分のチームばかりにコミットしてしまい、うまくメンタリングできなかったことが心残りです。

成果発表

ひたすらもがいている間に容赦なく開発時間終了、本当にタイトでしたね。。発表直前までビルドし直していました。ダンススタジオにみんなで移動し、各チームコンセプトなどのプレゼンと成果物の発表を行いました。観覧者も多数集まり緊張感が高まる中、発表時はシステムもちゃんと動き会場全体もこれでもかというくらいに盛り上がってくれました。投票、結果発表後に参加者が一言ずつ感想を言うのですが、みなさんポジティブな意見で、ダンサーさん（わかにゃん）も「ダンスの可能性が広がったというレベルじゃないくらい広がった、今まで考えたこともないものが形になった」と言ってくれていました。そう言ってもらえて、エンジニア冥利に尽きます。

集合写真

画像1

まとめ

書き殴ってしまいましたが、ダンスというテーマのハッカソンでモチベーション高く動けた結果、自他共に良い影響を与え合うことができたと思います。ハッカソン当日のチームメンバーの動き方がとても良かったのが大きいですね。メンバーに恵まれました！僕はやりたいようにやっただけなので笑

今回の発表は正直まだモーションを完璧に取れているとは言えないし、短期集中開発の粗さが目立つ形ではありますが、１日でリアルタイムのパフォーマンス演出をここまで作れるということで、少なくとも業界には何かしらのインパクトを与えられたのではないかと思います。今回このような企画を開催してくれたwithARハッカソン運営チームには本当に感謝です。今後もAR（テクノロジー）とパフォーマンスの掛け合わせの可能性を探求していきたいと思います。ありがとうございました。


この記事が気に入ったらサポートをしてみませんか？