[研究] 絵画をマーカーとして認識する音声ガイドアプリの試制作

友人と美術館に行った際に、絵画をスマホのカメラで写して認識させて開始できる音声ガイドアプリって意外と見たことないねという話になった。
そこで実際にどの程度できそうなのかを知るために作ってみた。
Swiftで開発。

プリントアウトした絵画（今回は国立西洋美術館のサイトからとってきたもの）を認識することができた。仕組み自体はうまくいった。

気になるのは画像の読み取りの精度である。
試作アプリではAppleのARKit内の画像認識をただ使っているだけなので認識の精度はこれに準ずることになる。
ARKitの画像認識の注意点についてみてみるとある程度複雑で、特徴点が多いものが良いとされている。アイコンなど形が簡単で色数も少ないものは適していないらしい。
最初のテストでは群像画や肖像画を用いたが、これが形が簡単な抽象絵画やコントラストの低い印象派の絵画になると認識できるのか疑問である。

特徴点が少なそうな絵画画像でもやってみた。

かなり色味の淡い絵画でも認識することができた。
開発時点では画像についてヒストグラムが適していないとの警告が出ていたが、それでもある程度の認識は可能なようである。

ピエト”モンドリアン<コンポジション２　赤、青、黄>

バーネット・ニューマン<ワンメント6>

上記の二点ののような形が単純な絵画でも試してみた。
モンドリアンのコンポジションは認識しづらかったが読み取ることはできた。バーネット・ニューマンのワンメント6は画像が適していないためかARKitのほうでエラーが起きてしまい、認識するシステムを整えるのは難しそうである。

ここまでプリントした画像は認識できた。しかし、実際に美術館にある本物は画材の凹凸や質感による光の反射でもっと見え方が異なってくる。
認識することが可能なのか実際に現地に行って検証してみたい。

そもそもこの画像認識形式の音声ガイドアプリの利点について現行の音声ガイドと比較しながら考えてみる。

まず実際に使われている方式は以下の3つがほとんどだと思う。

・専用機器
・スマートフォンアプリ
・スマートフォンから開いたブラウザ

もともとは専用機器がほとんどあったと思う。アプリやウェブを使用するものが増えた理由は、撮影可能な展覧会が増えて館内でスマートフォンを取り出す行為が許容され始めたこと、ほとんどの人がスマートフォンを持つようになったことではないかと思われる。
一方でほとんどのスマートフォンにはカメラが付いているため、撮影不可能な作品に対してはスマートフォンを用いた方式は少々鑑賞者の注意が必要になる。
特に今回制作した画像認識タイプでは絵画にカメラを向けるため、それを使用している人を見て他人が撮影可能であると勘違いしてしまうことなどが起きそうだなと思った。
これは一つのデメリットになりそうだなと思った。

次に音声ガイドの形式は以下が挙げられると思う。

・キャプションに書かれた番号を入力するタイプ
・キャプションに書かれたマーカーを読み取るタイプ
・自身で画面から作品を選ぶタイプ

この3点に対して画像認識型の利点の一つは、キャプションに近づく必要がないことである。特に大きな作品に対して、鑑賞者は作品の全体を始めに目にした位置から情報にアクセスすることができる。
もう一つの利点はキャプションに番号やマーカーといった作品に直接関係のない情報をキャプションから取り除くことができる点である。
ただ利点とはいったものの実際には小さな違いであるため鑑賞体験にはそこまで差がないかもしれないし、思っていたより変わるかもしれない。

終わりに

今回は音声ガイドについての美術館でのふとした疑問から試制作をしてみた。正直なところ個人的には鑑賞中はスマートフォンを取り出すこと自体が面倒だなと思うのでそこまであったらいいなと思って制作をしたわけではないが、鑑賞体験のあり方の一つの方向性としてこうした新しいアプローチがなされていくといいなと思う。