見出し画像

音と動画と立体音声波形

三日坊主

こんにちは！三日坊主といいます！✨
普段は趣味で3DCGや映像をつくったり、時々VR空間をつくったりしています！

この記事はmemexさん企画、
『VR音楽活動のススメ Advent Calendar 2020』
の14日の記事になります！✨
色んな音楽についての記事があるので読んでみてください！楽しいぞぉ！✨


今回ボクはVR空間と音楽演出枠で書いていきたいと思います！

まず、立体音声波形とは、音のデータを動画編集ソフトでオーディオリアクティブな動画をつくり、unity側でそれを立体的にするものです。

↓以前STYLYで書いた記事を参照。

今回は、この立体音背波形を使ったVR空間を作成した時の話と、ついでにバージョンアップ？した立体音声波形用のshaderを配布しようと思います。

立体音声波形用のshader→

サンプル（Unity 2018.4.20f1）

①　立体音声波形を作成した時に考えたこと

オーディオリアクティブなものを三次元で見られると楽しそうだなぁと思って作りました。

立体音声波形波形は動画の色情報をとって動くので、音声とのズレが比較的起きないことが良いことだなぁと思ってます。（多分）（音ハメしたいときに音がずれると辛い）

②　実際につくったVR空間

立体音声波形を用いたワールドを二つ制作しています。

「Sound Wave Club」と「Sound Wave Club Alter」です。

出来上がるまで色々な文脈がありましたが、どちらも立体音声波形を核にクラブをつくるとどうなるのかぁって考えたものです。（因みにボクは物質側のクラブはいったことはないです。いつか行ってみたい...）

「Sound Wave Club」は屋内のクラブ、「Sound Wave Club Alter」は屋外の不思議なクラブを目指してつくって、それなりに良いものができたかなと思ってます。

③　立体音声波形をどのように使うか。

基本的には激しい曲にあわせて使うといいかなと思っています。キックがはっきり音声波形に表れていると、立体的に見たときに楽しいです。また、オブジェクトの形状ですが、基本的にはキューブでいいのかなと思っています。複雑な形状だと、メッシュの盛り上がった部分が干渉して、良くわからなくなるからです。
ですが、マテリアルのvertex maskをかけるとUV展開の仕方によってはいい感じになる時もあるので色々試してみてください！✨(球は良い感じになるかもです)

使いどころは、、、DJブースのよこに置いてみるとかいいのかなぁ...あと、天井付近に置いてみるとかもいいかもです。立体音声波形単体で割とパワーがあるので、空間に馴染ませることが難しいかもですが、うまくいくと楽しい空間になると思います。

④技術的な話

この立体音声波形は、モデルのUVが大切です。レンダーテクスチャから色情報を取って、vertexをいじるので。キューブの場合はUVを重ねてUVの枠いっぱいまで広げるといいかも。

個人的に楽しかったのは、UVをミラーさせると左右対象の波形が見られることができて嬉しかったです。

また、モーショングラッフィック系の動画や、自然のノイズがある動画、動画内の遷移がしっかりしている動画(移動中の動画や、雲や波などの動画)を使うと楽しいと思います。

短い内容だったと思いますが、動画を切り替えて遊ぶだけでも楽しいので触ってみてもらえると幸いです。(オーディオリアクティブなVRLive、見たいですね✨)

良きVR音楽ライフを！

終わり

この記事が気に入ったらサポートをしてみませんか？