見出し画像

iPhoneXのTrueDepthカメラを活用したアプリを作ってみた!

以前のブログ記事『iPhone XのTrueDepthカメラとARを試してみた!』に引き続き、 iPhoneXのTrueDepthカメラで遊んでみました。

TrueDepthカメラでは、簡単に高精度の顔認識ができるため、表情を真似する絵文字(アニ文字)、顔にマスクを被せるアプリ(Face Play)など、いろいろなアプリケーションが作られています。
今回はそれらのアプローチとは少し違ったTrueDepthカメラの応用例を考え、簡単にアプリを作ってみました!!

ちなみに開発には、Unity用のARKit Assetを使いました。
ARKit Face Tracking on iPhone X

ARKit Assetを使う開発の際には、ARKit Remoteを使うと毎回ビルドする必要がないので便利です!
ARKit Remote: Now with face tracking!


アプリその1 - テキストビューア

TrueDepthカメラを使った読書アプリケーションです!
まずは動画をご覧ください。
動作の仕組みがわかりやすいように、テキスト画面を半透明にしています。

マウス
顔の向きを利用してマウスのようなUIを作ってみました!
顔を動かしてマウスカーソルを動かし、カーソルの位置と止まっている時間を利用してページを移動します。

選択
例えば、カーソルを04番の上に移動し、カウントが100になるまでフォーカスすると04番のページを見ることができます。

テキストビューア
テキストを読む時にもマウスを利用します。
カーソルを画面下部に移動させると、画面を上にスクロールします。逆に画面上部に移動させると、画面を下にスクロールします。 画面の左側に一定時間フォーカスすると、選択画面に戻ることができます。
また、マウスカーソルは眉の上下で、
Hold Mode(固定表示) / Interactive Mode(通常表示) / Hidden Mode(非表示)
にすることができます。
眉を上に動かしてカーソルを非表示にすれば、文章に集中することができます!

満員電車の中やご飯を食べている時など、スマホで何かを読みたいのに、手を使うのが不便なシーンってありますよね。
そんな時、顔の情報でスマホが操作できれば、いろいろ便利じゃないでしょうか!


アプリその2 - ランニングゲーム

TrueDepthカメラを使ったアクションゲームです。まず動画を見てください。 シンプルな縦スクロールアクションゲームですが、こちらも顔で操作します!

右左移動
ピンク色のキューブは常に前に走っています。先程のマウスカーソルと同じように、顔の向きを使ってキューブを右左移動させて障害物を避けます。

ジャンプ
眉を上へ上げるとジャンプします。眉を2回連続上げると2段ジャンプをして飛ぶように進むことができます。
(はじめは床にだけ障害物を配置していたのですが、ずっと眉を動かし続けて2段ジャンプばかりすると簡単にクリアできてしまうクソゲーになってしまいました。 今は空中にも障害物を配置したのでちょうどいい難易度になっています!)

ちなみに、作りながらずっとプレーしていたので操作に慣れてしまったのですが、
初心者がやってみるとこういう感じになります。


まとめ

このようにiPhoneXのTrueDepthカメラを使うと顔情報を正確に取れるので、
精密な操作ができます。テキストビューア、アクションゲーム以外にもいろんなことに活用できそうです!


MVイメージ:https://blogs.unity3d.com/kr/2017/11/03/arkit-face-tracking-on-iphone-x/

この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

4
デザインとテクノロジーで新しい体験をデザインする“ものづくりカンパニーSONICJAM。技術やデザインのTipsをつらつら紹介します。 ソニックジャム:https://www.sonicjam.co.jp/
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。