見出し画像

VRとソフトウェア、音楽(2022年総括)

ぶるげ

あけましておめでとうございます。ぶるげと申します。
バーチャルなモノやヒトが好きです。

　昨年は総じて人と関わることが多く、また自分から人との関わりを意図的に増やしにいった年でもありました。
　この一年で関わっていただいた方々への感謝も込めて、昨年やってみた個人的なVR関連の活動、体験を振り返ってみようと思いました。

「VRとソフトウェアの話」(昨年公開した「VRHandsFrame」の話)と「VRと音楽の話」をさせていただきたいと思います。

VRとソフトウェア(VRHandsFrame)

昨年6月に「VRHandsFrame」というVRオーバレイアプリをリリースしました。

VRHandsFrameは、直感的なハンドジェスチャーでVR上の視界を切り取り、解析することができるVRオーバーレイアプリです。
VR上の視界に映した画像に対して、「スクリーンショット＋トリミング」、「QRコード(※)読み取り」、「文字の翻訳」といった処理を実行することができます。

※QRコードは(株)デンソーウェーブの登録商標です

昨年はこのアプリを中心に、多くの時間をかけていました。

作成の経緯(VR上での撮影機能について)

　一昨年くらいからVRSNS上の催しによく参加するようになって、各VRプラットフォームにおける撮影機能の使い勝手をどうにかできないかなと、おぼろげに思索していたのがアプリ作成の遠因です。

[個人的にVRカメラ機能の課題だと思っていた点]

  • カメラは必要な時に出し入れする前提のため、撮影までに数ステップのUI操作が必要
    (余談ですが、VRゲームのルインズメイガスをプレイしたとき、「カメラが常に腰の位置にあり、掴んですぐに撮影可能」なのがとてもユーザフレンドリーだと思いました)

  • ワールドの参加人数やギミック等の構成要素によっては、カメラを起動すると重いことがある
    (主に自PCのスペック不足ですが……)

  • イベント参加者・登壇者の表示するQRコードから、Webページへ遷移させる導線がほぼ機能していないように見える
    (VR上で撮影→デスクトップから画像を参照→QR読み取りソフトに取り込ませる、という工程を行ってくれる人が如何ほどいるのか問題)

そんなことを考えながら、文字通り手すさびに、両手でカメラの形を作るジェスチャー(※)をしていたときに、「このジェスチャーで想像しうる体験を、VRに落とし込むと面白そうでは？(なんなら作れそうでは？)」という発想に至りました。(2022年1月の半ば)

※英語では「Hands Framing」と呼ぶらしい？ アプリ名もここから採用しています

[面白そう、作れるかも(作りたい)、と思った理由]

  • ジェスチャーを認識するにはコントローラの角度や距離を取得すればよさそう
    (VRアプリの作成経験は無いが、Unityエディタは弄ったことがあったため想像に易かった)

  • Hands FramingジェスチャーはVR上で無意識に取ってしまうようなポーズではないため、オーバレイアプリでも活きそう
    (VRゲーム、VRSNS上での体験からの主観)

  • ジェスチャー自体が直感的で、ユーザの想起する動作(カメラや画像に関連した何か)とジェスチャーが合致している

  • VR上の画像処理はプログラミング的に可能そう
    (OpenCV等でよしなにできるという画像情報処理の知識はあった)

  • 単純にVR関連のアプリを一度作ってみたかった
    (VRで活動する推しVtuberたちの影響。おたくは推しの好きなものが好き)

アプリのプロトタイプ作成

「VaniiMenu」や「EVMC4U」などのVR関連ツールの製作者Segmentさんが、VRオーバレイアプリ作成のための補助ライブラリや記事を書かれいて、とても参考になりました。(結構古いですが、日本語で参照できるというだけで貴重)

OpenVRと1か月ほど格闘し、最初のプロトタイプができあがったのが二月の半ばです。

作成の経緯からも分かるように、プロトタイプ版の機能は「撮影＋トリミング」と「QRコード読み取り」の２種類のみで、翻訳機能は搭載していませんでした。

翻訳機能の追加

翻訳機能を入れようと思ったのは、日本語非対応のVRMMO RPG「Zenith MMO」をプレイしていて翻訳VRオーバレイアプリの必要性を感じて、HandsFramingジェスチャーでカバーできそうな機能だと思ったためです。

翻訳VRオーバレイアプリについてもやはり先人(立川弓月さん)がいて、OCRエンジン選定の参考にさせてもらったり、機能の調整でアドバイスをいただいたりもしました。ありがとうございます。

翻訳機能追加のツイートは結構な反響があり、今年はこのアプリ作成に本腰を入れようと、改めてモチベーションをいただきました。

テストや初期改修に付き合ってもらった方々への謝辞

2022年の3月時点で、手持ちのVR機材はOculus Rift SとQuest2しかありませんでした。リリース前に他機材での動作確認をしたいと思っており、ちょうどこの頃、twitterに実装されはじめたコミュニティ機能を使って、テスターの募集をかけてみることにしました。
(おきゅたんbotさんが開設されていたVR関連のtwiterコミュニティを活用させてもらいました)


VRゲームフリーク達の集まるDiscordサーバで拡散してもらえて、色々なVR機材を持つ方にテスターとして参加していただきました。改めてありがとうございます。
(個人的には、陸奥乃はちさんのようなVRゲームを中心に配信をしているVtuber達を知れて、アプリを触ってもらえたのも嬉しかった)

　また、6月にアプリをリリースした直後は、ユーザの方からフィードバックや不具合の報告をたくさんいただき、とても助かりました。
不具合の原因を絞れない場合は、修正版アプリを作る→試しに使ってもらう→フィードバックを受けて再度修正する→(以下ループ)という、利用者からするととても面倒なことを要求してまったりもしていた訳ですが……対応に最後まで付き合っていただきありがとうございます。
(個人のVRゲーム開発者は、機材や環境ごとのテストはどうやっているのだろうか)

今後について

　特に「翻訳機能」については、日本はもとより海外の方にも利用していただいているようで、現状日本語と英語が混在してしまっているUI周りをまずは整理したいと思っています。また、ソフト配布はboothだけでなく、海外ユーザも目に付きやすいSteam Storeなどに置くのも良いかなと画策中です。

今後ともVRHandsFrameでVR生活を楽しんでいただければ幸いです。

VRと音楽

VR上で弾き語りを始めた話

　VRChatではpublicのワールド巡りをしていることが多く、上のツイートは昨年１月にワールド「Japan Street」にpublicで初めて訪れたときのものです。(リンネはハチこと米津玄師さんのボカロ曲)
　この時、VR路上で(当時の段階で)一年以上弾き語りを続けているという方をお見かけしたのが個人的にエポックな出来事で。
　VR上で突発的な路上ライブを始めたり、セッションを企画する人がいることは元々知っていました。ただ、publicで不特定多数の人に向けたVR路上ライブが個人の継続的なアクティビティとして受容されているんだということを本件で確信して、自分もやってみたいと思ったのでした。
　昨年VRHandsFrameをリリースした後からは、だいたい週1回ほどの頻度で「Japan Street」や「音鳴町」で弾き語りを続けていました。好きな古めのボカロ曲を、HMDを被りながら気の向くまま弾き語っている事が多いです。一生練習中の身です。
　今年も同じくらいの頻度で継続したいと思っています。どこかでお会いできれば。

届けたい人に音楽が届いた気がして嬉しかった話

もう一昨年のことになりますが、2021年の11月に「シミュラークルに花束を」という楽曲を公開しました。
　この曲を昨年はVtuberの甘野氷さんにVRライブで歌ってもらったり、歌ってみた動画にしていただいたりして、とても嬉しかったという話をします。

　上のツイートで書いたように、この曲は明確に「自分の今まで見てきたVR上で活動する人たち」に向けた音楽、賛美歌として作ったものでした。
　音楽、とりわけ作詞をする時、特定の誰かを想像して歌詞を描写したり、届けたい人たちのことを考えながら歌詞を作ることもままあるのですが、音楽を届けたい人から直接反応をいただく(しかも歌ってもらう)という経験は、自分にとって、とても、とても掛け替えのないことであり、めったにないことで。
　さほど広い観測範囲を持つわけでもない僕の見てきた「VR上で活動する人たち」。メタバース上で精力的な活動をしていて、おきゅみんでもある甘野氷さんは、まさにこの曲を届けたい人の１人でした。

　音楽が手紙やラブレターのように、名指しで受け取られるようなものだけでは面白くないですし、音と詞を耳に入れてくれるあらゆるの人があらゆる観点・感情で享受すべきものだとも理解しています。ただ、宛名もそぞろな手紙に返事が降ってくるようなことがあれば、それはとても素敵だなと。
　創作者のエゴを淡い期待で包みながら音楽を作っていたところで、上の句の意図を汲んだ下の句を時間差で埋めてくれるような、未完の音楽に一筆を加えてくれるような、エモい体験をさせてもらいました。
　届けたい人に音楽が届いた気がして、本当に嬉しかったです。

　魔法少女シュネーさん主催のVRライブイベント『Sing for U！～繋いでいく魔法～』では、「大切な人のための歌」というコンセプトでセットリストが組まれていたそうで、そのコンセプトの中で僕の楽曲を選んでくれたことも感激しました。自分の中の大切な自分へ、音楽を介してメッセージを送り合えていれば良いなと思います。
(こちらのライブはアーカイブも残っています。他の出演者の方も含め、是非全編通して「大切な人のための歌」を聞いてほしいです)

今年の音楽活動について

2022年はVRHandsFrameの制作に時間を使っていて全くオリジナル曲を作ってこれなかったのですが、歌詞はいくつか書き溜めていました。VRHandsFrameの調整も片手間に、6月のMusic Vketへの出展に１曲間に合えばよいなと、楽観的に行きます。
　相棒のテトさんには今回はお休みするか補助に回ってもらって、自分で歌唱する曲を作ってみようかと考えています(昨年は弾き語り含め、その練習していたと言い張りたい)

今年もよろしくお願いします。

ぶるげ / Eureka Works

この記事が気に入ったらサポートをしてみませんか？