その手があったかREALITY、エイプリルフールにハンドトラッキング機能公開。指にかけるメタバース研究開発の歴史を振り返る
全世界の指トラッキングファンの皆さん、お待たせしました!
本日、REALITYにハンドトラッキング機能がリリースされました。
ただし「エイプリルフール限定」です!!
期間限定だそうなのです!!!
以下、公開情報からお知らせします。
え?REALITYまだダウンロードしてないの??それはやばい
今すぐダウンロードしてきてください!!!
https://reality.app/
もちろん全世界同時に展開されています
ハンドトラッキング機能にあわせたイベントも
時間に合わせて特別なギフトが降ってくるようです。
あわせて「#REALITYチャレンジ」なるイベントが開催されています。
実装が気になる方へ…公開情報から振り返る
REALITYのコンピュータビジョン技術は"ちょっとやってみた"ではない期間の研究開発が積み上げられています。
まずR&Dの「D」のほう、最近の公開情報から…。
2023/4/1 安定した指の実現へ
今回の公開にあわせて、具体的な実装詳細がレポートされています。
「ただ動けばいい、ということではない」、人々が生き生きと活躍するメタバース開発の世界の面白さがここにありますね…!
2023/2/6 フェイストラッキングにMediaPipeが導入される
2022/12/4 スマホで手を動かそうとした取り組みの公開
世界中のユーザが使っても大丈夫になるまで、真剣な取り組みが行われています。
研究開発の歴史
以下は、ラボの「R」側の取り組みを古いほうから紹介していきます。
SIGGRAPH ASIA 2018 Real Time Live!
VTuberスタジオ技術を開発していた頃の技術は"秘密"が多いのですが、いくつか外部発表した技術があります。
2018年12月のSIGGRAPH ASIA 2018 Real Time Live!でのライブデモです。
海外メディアでも大きく扱われました。
2018年末のこの時点でオリジナルのグローブハードウェア作っていました。
ちなみに会場は東京国際フォーラムホールC、座席数1,502席です。コロナ禍を経験してしまった人類はにわかに忘れているかもしれませんが、こういう環境は電波干渉が半端ないので「当日一発勝負」で通信を安定させるのは大変でした。
StretchSense社さんありがとう…。接続部分のハードウェアはリチウムポリマー電池で動いています。UnrealEngineで作られたスタジオシステムへの通信はBluethooh通信で行っております。
人間の手掌部のサイズは非常に多様で、縦に長い人、掌が広い人、指が細くて長い人などがおり、特に開発者である私や男性の方々と、女性のユーザさんではキャリブレーション基準が全く異なるので、様々なアプローチがありました。
ちなみにこのころコラボレーションしていたiKINEMA社はAppleに買収されてしまいました。
せっかく仲良くなっても遠い人になってしまう、お金を払っても何も解決しなくなってしまう、そんなつらみを何度か味わっています。
2019年ごろの指研究はハードウェア研究だった
VTechChallenge2019
非常に高価な新素材を使って独自ハードウェアを構築していたいた2018年でありましたが、そんなチャレンジも目に留まってか、VTechChallenge2019では、こんな提案をしてくださる学生さんもいらっしゃいました。ストッキングを使って数百円でフィンガートラッキングを実現するという研究です。
「新しい力学センサの開発とセンサを使ったハンドトラッキングデバイスの提案」倉茂雄人 (公立はこだて未来大学システム情報科学部情報デザインコース)
ハードウェアでフィンガートラッキングを実現するという取り組みは、数千ドルのハードウェア製品レベルのプロダクトが供給される状態になりラボの研究テーマとしては終了してしまいました。その後も世界中で継続研究されているテーマですね。2020年のStretchSense社のTikTok動画より。
2021年 メタバースでのインタラクション
その後、コロナ禍の混乱が続く中、フィンガートラッキングデバイスの研究は外部に公開するような要素がありませんでしたが、2021年11月11日に開催された「GREE Tech Conference 2021」において、
「REALITY」のメタバース化にはどんなUX・技術が必要か GREE VR Studio Laboratoryの試作とともに語る5つの成果
GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介
という講演で一部公開されています。ログミーさんが記事化してくださっております。
この当時「買って手に入るデバイス」としては、Valve Index Controllerなどがありました。
2021-2022年 コンピュータビジョン技術とAI技術の融合へ
和歌山大学 床井先生の研究室に所属していた武政さんによるGREE Tech Conference 2021の発表です。このころは本当にまだ「やってみた」というレベルを超えていないコンピュータビジョン研究への移行期でした。
その後、AIアシストによるモーション融合「AIFusion」、さらに楽曲演奏技術、アバターカラオケ技術に発展していきます。表現力めちゃ向上する。
当時のお話はこちらにまとまっています。
さらにCGWOLRDさんで特集をいただきました。
メタバース開発者の卵が「自分は何者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】(2023/02/16 CGWORLD)
技術だけじゃない、みんなでわいわい楽しんでほしい。
私は"昼間の仕事"としてはメタバース研究開発の「R」を担当しているのですが、こうやって振り返ってみると「たかが指、されど指」なのです。
ハードウェア、センシング、コンピュータビジョン、機械学習、ルールベース、推論、時にはグラフィックス数学、そしてユーザさんの文化、表現、楽しみによって醸成されていく…そして今日はエイプリルフールです!
みんなでわいわい、コンヴィヴィアルテクノロジーを楽しんでください。
文化、技術、研究の歴史で振り返ってみましたが、令和のメタバースのエポックメイキングな出来事振り返りでした。
※ここまで上から目線ですみません!ここから下から目線です!
おまけ:ユーザさんたちが尊い…
え?ここまでREALITYまだダウンロードしてないの??それはやばい
やだなあもう!今すぐダウンロードしてきてください!!!
https://reality.app/
素敵な作品があったら(勝手に)紹介させていただきますね…!
※私は運営とかではないので選考とは全く関係なく単なる趣味です先に謝っておきます!!ごめんなさいごめんなさいごめんなさい
Twitter #REALITYChallenge #REALITYチャレンジ
海外からー!
え…ナチュラルな指めっちゃいい…スチルだけどいい・・・
え・・・わかりみ・・・好き・・・(語彙力)
ふあああああ・・・「あくび」だああああ・・・(好き)
シンプルな技が光る!
投げキッス!!
これはエモートで再生して再販したい再生して再生したい!
使い方を研究してくれているー!
研究熱心なユーザ様!
深夜にテンションあがっちゃうユーザさんを観てテンション上がる俺
リリースから27分でこれだ「愛のしるし」
リリースから38分でこれだ…「マーシャル・マキシマイザー」!
「健全な遊び」が流行り始める
※グーチョキパーでなにつくろう」として有名なこの曲は原題を「フレール・ジャック」(Frère Jacques)と言い、フランスの伝統的な民謡です。
「可愛くてごめん」のフィンガーダンス、いや…ごめん!めっちゃ可愛くてありがとうございます。
バーチャルオタマトーンの演奏……!???好きや…!!
他にもいろんな作品を観たいけどいったんこれで筆をおきます!
ご感想はこちらのツイートへのリプライか…
こちらへ!(採用情報)