![見出し画像](https://assets.st-note.com/production/uploads/images/13024120/rectangle_large_type_2_d494d49f2ecc53dbc32e52681bf6971c.jpeg?width=1200)
MUSIC HACKDAY Tokyo 2019に参加してきました
morioです。
先日、MusicHackDayTokyo2019というイベントにメンター参加してきましたので、どんなことやってきたかをまとめてみます。
■どんなイベントか
音楽とテクノロジーを掛け合わせて新たな体験を創造することを目的とした二日間のハッカソンです。
2012年からこれまで世界各地20箇所で約40回開催され、世界最大の音楽ハックイベントとして認知されています。
とのことです。
過去の様子はこちら。
■なぜ参加したのか
発端はとあるMicrosoft MVPの方経由の紹介で登壇した下記のイベントがきっかけでした。
こちらのイベントで今回のMusicHackDayの主催者であるVERSUSさんと知り合い、今回のハッカソンへの技術サポート枠での参加にお声かけ頂きました。
他にもUnityの常名さん、僕と同じくHoloMagiciansの岩本さん、宮浦さんも技術サポートとして参加されました。
■何をしていたのか
「技術サポート枠」とは言うものの、参加者の方は非常に技術力の高い方が多く、ほとんど質問は来なかったのが実際のところです。
なので、せっかくの機会なので私も何か作ってみようと思い立ち、借り手が不在だったPerception Neuron(モーションキャプチャー機器です)をいじってみることにしました!
元々下記のようなキャプチャーシステム調査をする程度には興味があったので、非常に良い機会に恵まれました。
趣味でモーキャプ系の調査をしてたので公開してみます。
— morio@7/19あるしおうねさん囲む9/8HoloLensミートアップ (@morio36) June 7, 2019
誤っているものもあるかと思います。
追加や修正のご指摘などあればお願いします!
モーキャプ系システム調査(201906) https://t.co/mp1np2G89U
ちなみにハッカソン中に一度だけPerception Neuronについての質問を受けたのですが、前述のように”たまたま”Perception Neuronを触っていたため、鮮やかに質問に答えることができました!
■何を作ろうとしたのか
まずはPerception Neuronを装着し、動かすところだけでも覚えて帰ろうと考えました。
Perception Neuronの取り扱いをされているアユートさんのアドバイスも受け、この段階は比較的無事に完了しました。
技術メンター枠ですがせっかく機材あるのでperception neuron触ってました。
— morio@7/19あるしおうねさん囲む9/8HoloLensミートアップ (@morio36) July 13, 2019
playしたとたんに俺のモデルが異様に細長くなるのは謎。まあいいや。
明日はスマホ連携とAzureに飛ばす辺りやりたい。
楽しむよ👍#MHDT2019 pic.twitter.com/LnRpsmAoeP
一日目の終わりにここまで行って、そのあとこれをどうするかを考えた結果、
1.手を振ったらそれを検知して写真を撮り、Twitterにアップする
2.1と同時に、Androidアプリにも連携し、何らかの音やエフェクトを出す
というのを考えました。
■結果
1の途中、手を振ったらそれを検知して写真を撮るところまでは割とすんなり実装できました。
過去にこんなHoloLens首振りジェスチャーを試したことがあり、この時にフレームごとの移動量を取得して発火させる処理は書いていたためです。
エアタップ使わずに首振り動作で選択してみる実験。
— morio@7/19あるしおうねさん囲む9/8HoloLensミートアップ (@morio36) November 30, 2017
どれくらい動かしたら入力ありとするかの度合いが難しい。#HoloLens pic.twitter.com/PtAmt7zCGA
右手を振るところの取得は実際に手を振ってみたときに大きく値が動いていた右手のRotationをRightHandというTagつけてGetComponentWithTag で取得しました(けっこう無理やり感あるかな)。
で、移動量がそこそこでかいタイミングでTextureをRawImageに書き込み。
小さくてわかりづらいですが、下記のGIFでいうと左下のRawImageにCameraのキャプチャをコピーした感じです。
ここまではよかったのですが、TwitterのAPIを使用するための下準備をしていなかったので投稿機能を断念(申請してから3営業日くらいかかるらしい)。
Azure LogicAppsでの実装も考えたのですが、アップした画像をTwitterでつぶやくところまでいけるかどうか調べきれませんでした。
※個人的にはHoloLensからTwitter連携まではLogicApps使ってやってたので流れは理解していましたが、ツイートに画像の添付が行えなそうだったのです。
そのため、途中で1は諦め、2のAndroidアプリのほうに着手しました。
ここでは凹み様のuOSCを使えばトリガー渡すくらい楽勝だろうと考えていました。
これまた過去にuOSCを使ってAndroidとHoloの連携もしたことあったので。
Android側アプリでAndyを生成した場所をHoloLens側で見えるようにしてみた。 pic.twitter.com/xYDi3w4xiX
— morio@7/19あるしおうねさん囲む9/8HoloLensミートアップ (@morio36) July 5, 2018
ですがPCからAndroidへの通信がうまくいかず、環境のせいなのかどうかの切り分けすら終わらずにタイムオーバー。
結局飛び入りで結果発表することもかないませんでした。
残念!!!
■感想
実をいうとハッカソンに参加した経験はほぼないのです。
オープンなのはこの時くらいかな。
ハッカソン中の時間管理が全っ然できてないことに気づきました。
詰まったら即切り捨てる判断して次へ次へ進まないと成果物の体まで持っていけないことを痛感。
これが学習できただけでも非常に実りのある場でした(技術サポートとしての感想ではないが)。
それと、次はハッカソン参加できるように知識と自前のアセット類(技術的な引き出し)を多く持っておきたいですね。
今回うまく行ったのも過去に試したことがある機能のあたりばかりでしたので、ハッカソンの二日間で新たな知識を得ながら成果出すのは時間的に相当厳しいと認識しました。
とはいえ、非常に楽しかったです。
超絶笑顔の @sekiguchiaimi さん頂きました👍 pic.twitter.com/BOkSiIg9qn
— morio@7/19あるしおうねさん囲む9/8HoloLensミートアップ (@morio36) July 14, 2019
ハッカソンのまとめはこちら。
では。
早く梅雨明けるといいですね。
2019/7/17 morio
この記事が気に入ったらサポートをしてみませんか?