「誰もが楽しめるアプリ」を目指して！誤認識を限りなくゼロにする仕組みを取り入れたARアプリ「空想レンズ」の開発秘話

x-Tech事業本部では、最先端の技術や手法を活用し、「テクノロジー×データ」でビジネスモデル変革のテクノロジーパートナーとなり、これまで培ったxRを活用した動画制作技術、スポーツ領域でのデジタルマーケティングやD2C支援のノウハウを掛け合わせ、価値を提供しています。

このノウハウを活かし、2021年11月2日にARアプリ「空想レンズ」を開発・リリースしました。今回は、「空想レンズ」を開発したメンバーの1人であるTeradaに、本アプリの特徴や今後の展望を聞きました。

ARアプリ「空想レンズ」とは

ARアプリ「空想レンズ」とは、「空想レンズ」をダウンロードしたスマートフォンで、専用のARマーカーを読み取ると、写真やイラストが動き出して見えるアプリです。

これまでギークスが培ってきた実績や研究開発における技術を活用し、「スマホとアプリさえあれば、AR技術を手元で気軽に楽しむことができるコンテンツ」を提供するため、開発しました。

今回、空想レンズのリリースと同時に、動くトレーディングカード「ミライトレカ」の販売を開始しています。「ミライトレカ」は空想レンズをかざすと動き出してみえるカードです。

Terada：「空想レンズ」に関しては、2021年2月ごろから本格的に開発を始めました。

x-Tech事業本部では、これまでイベントや屋外で使用するARアプリケーション開発などを行ってきました。そのため「マーカーとなるカードを読み取って動画を再生する」こと自体は知見があり、基礎研究の一環で作ったプロトタイプのアプリもありました。

今回、様々な業種の方のお話を聞かせていただく中でコロナ禍における新たなARの活用法として「ミライトレカ」の構想が浮かんだため、「写真をマーカーとした多くの種類のカードを読み取って再生する」ことができるよう、アプリの改良・ブラッシュアップに着手しました。

プロトタイプのアプリがあったものの、今回リリースした「空想レンズ」については、改めて0から仕組みを作り上げることになったそう。

Terada：100枚近くある写真をマーカーとしたカードを読み取って再生できるようにするためには、当初のプロトタイプのアプリで使用していた仕組みでは難しいということが分かりました。

そもそもARで読み取るものとして、写真は苦手分野に入ります。通常ARアプリでは、マーカーを認識する際に、色の濃淡から図柄を認識しています。写真を読み取る際には、プログラムで写真から色を取り除き、白黒の状態から図形を認識しています。

写真では、明確に色が分かれているものは少ないため、濃淡が付きづらく、図形として認識するのが難しくなります。特に人物写真であれば、同じ服を着ていて似たようなポーズを取っていると、区別が付きづらくなります。なおかつ、それを100枚近く読み取れるようにするのは至難の業で、カードの認識の誤りが起きてしまいました。

こうしたことから、「アプリの仕組みを替えた方が良さそうだ」という判断に至りました。

▲プロトタイプの仕組み

OCRを使った仕組みにシフトチェンジ！空想レンズの特徴

▲空想レンズの仕組み

100枚近くある写真を区別して認識できるようなやり方を試行錯誤した結果、「OCRでシリアル番号を読み込んだ後にマーカーを認識する仕組み」を取り入れることに決めました。

Terada：x-Tech事業本部のメンバーで写真を区別して正確に読み取る方法を話し合った際に「マーカーとなる写真1枚1枚に、シリアルナンバーを付けるのがよいのでは？」というアイディアが挙がり、この仕組みに辿り着きました。

OCRというのは、機械で文字を認識する機能です。カードの下部に記載しているシリアルナンバーを読み取り、その読み取ったシリアルナンバーをもとに、「このナンバーだから、この写真をマーカーとして読み取る」という仕組みになっています。

プロトタイプのアプリでは、「すべての写真（マーカー）の中から、認識したマーカーに対応する動画を再生する」形だったので似たような写真だと区別できずに、別の動画が再生されてしまっていましたが、OCRを取り入れることで「シリアルナンバーに対応した特定のマーカーしか読み込まない」状態にしたので、誤認を限りなく回避できるようになりました。

▲カード下にシリアルナンバーが入っている

「OCRでシリアル番号を読み込んだ後にマーカーを認識する仕組み」は、他社での取り組み事例・前例があったわけではないそう。Teradaが自分1人で考えるのではなく、「チームで話し合ったからこそこのアイディアに辿り着いた」とTeradaは言います。

Terada：当初私はOCR以外のやり方を考えようとしていました。しかし、それと並行して、チームメンバーのIzumiさんやTodaさんがOCRのやり方を調べてくれたおかげで、この方法に辿り着けました。私自身はOCRに触れたことがありませんでしたが、知見のあるメンバーが力を貸してくれたので作り上げることができました。

実は、このアイディアに至るまでには「マーカーの形をかえるアイディア」もありました。一時はこの案で進めていましたが、テストしているうちにマーカーが大きくなり、写真に映っているタレントの方の衣装が隠れてしまっていることに気が付きました。

技術的な視点で「誤認がある・ない」ばかりに囚われていて、「お客様に喜んでもらえる・もらえない」の視点が抜けていたと実感しました。「空想レンズ」を使って楽しんでもらうアイテムに対して、「ファンの人たちがその対象をどのように楽しんでいるのか」を知り、その目線をもって開発することが大切だと学びました。この学びは、今後に活かしていきたいと思っています。

「空想レンズ」の今後の展望

技術的な目線だけではなく、開発したアプリの先にいるユーザーの方の目線・コンテンツを楽しむファンの方の目線をもって開発していきたいと話すTeradaに、今後の展望を聞きました。

Terada：直近では、「空想レンズ」の使い勝手を向上するために、アプリを起動したときに「どのコンテンツで遊ぶか？」を選択して起動する機能を追加していきたいと考えています。「ミライトレカ」の種類がより豊富になっていくことを見越して考えると、コンテンツごとに分けて管理することで、ユーザーの方が使用する端末の保存容量を圧迫しづらくなります。「空想レンズ」で様々なコンテンツを長く楽しんでもらえるように、この機能は必要だと考えています。

また、今回は「ミライトレカ」というトレーディングカードをARで楽しめる商品を生み出しましたが、他にも様々な活用ができると考えています。

例えば、カードをかざすと特定のオブジェクトを空間に配置できるということができると考えています。好きな芸能人やキャラクターを空間に表示させて、ツーショットが取れるようなことができたら、多くの方に楽しんでいただけるのではないでしょうか。

その他、駅の案内板にスマートフォンをかざすと音声案内が流れるような使い方や、理科の教科書にスマートフォンをかざすと実験の様子が動画で流れる・昆虫の身体のつくりを動かしながら見れる…という使い方もできると思います。それが実現できたら、小・中学校でのオンライン授業普及の後押しになるかもしれません。

そういった活用を見据え、私は空想レンズの遊びの幅・活用の幅が広がるような要素をより増やしていきたいと思っています。この空想レンズが「誰もが楽しめるアプリ」になることを目指して、尽力していきます。

＜ARアプリ「空想レンズ」について＞
・配信開始日：2021年11月2日（火）
・価格：ダウンロードは無料
【iOS】

‎空想レンズ

【Android】

空想レンズ - Apps on Google Play