見出し画像

OUR Shurijo　 みんなの首里城デジタル復元 プロジェクト

情報処理学会・学会誌「情報処理」

川上　玲（東京大学大学院情報理工学系研究科）

プロジェクトの概要

　2019年10月31日に首里城で発生した火災を受けて，筆者は「OUR Shurijo みんなの首里城デジタル復元プロジェクト」を立ち上げた．これは，一般の方から首里城の写真やビデオを収集し，在りし日の首里城の3次元モデルを復元するものである．その目的は，焼失してしまった建造物の代わりに利用できる観光資源として，収集したデータからコンテンツを作成し，首里城周辺の方々に無償で提供することにある．多数の画像からの3次元復元自体は技術的な成熟期に入っているため，3次元復元そのものよりは，写真を撮った個人の属性やその思い出と3次元モデルを紐づける方に主眼がある．すなわち，多くの人間の気配がするようなコンテンツの作成や，それによるユーザへの新しい体験の提供を目指している．興味のある方はぜひ，以下の1分半ほどのビデオをご覧いただきたい．

　新しい体験とは，どのようなものか．たとえば，図-1はインターネット上の画像50枚とメンバの知人の家族写真1枚から復元したモデルを示している．図に示すように，各画像のカメラ位置が，3次元復元の過程で推定できる．そこで，その場にそれを撮影した個人の思い出や画像（今回は匿名化されたものを想定）を表示する．個人の性別，年齢，出身地なども収集しているので，ユーザは首里城を通して，そこを訪れた人々を想像しつつ，その人生の一部に触れることができる．また，投稿時に撮影時期の入力が必須となっているため，時代ごとのモデルを作ることが可能である．特に，古いアナログ写真のスキャンの投稿を呼び掛けており，これらのデータから復元ができれば，世界でも例がないものができる．仮に，数十年前の写真からモデルができたとして，これに当時の思い出が付与されていたとしたら，同時代を生きたものにとって感慨深いものになるのではないだろうか．
　現地にはどのように貢献できるだろうか．まず，作成した3次元モデルやコンテンツは無償で沖縄の自治体に寄付をする予定で，著作権フリーで運用していただくことを考えている．現地でAR/VRグラスやシアターなどで見られるような複数のコンテンツを届けたい．収益になりそうであれば売上は復元に活用していただければと思う．また，画像や映像の収集の際にデータの公開の可否も確認しているため，許諾があるものについては匿名化加工をした上で，無償で公開する予定である．地元の方々は写真をお持ちでない方も多いだろうから，世界中からの支援で写真が集まることや，個人の想いが可視化されて届くことで，喜んでいただけることを願う．
　現在のデータ収集状況は，毎夕6時に，Twitterでbotが収集状況を報告しているので誰でも見ることができる．画像の募集は2019年11月5日に開始して，原稿の執筆時点（11月26日） で，約2,300人
から2万3千ファイル，93GBが集まっている．国と地域としては，日本が5割，台湾が2割，タイ，中国，米国，ヨーロッパ各国，オーストラリアなどと続く．珍しいところではペルーやウクライナがある．思い出も全体の約半数の方からいただけており，実例がWebサイトに掲載されている．Webサイトのページビューが約32,000回，YouTubeのビデオの再生回数は約8,400回である．
　今後の展望であるが，データが多ければ多いほど，観光資源としてのコンテンツが色々と作成できるはずであり，長く楽しめるものになるはずである．また，最終的には，コンテンツの作成が現地の学生の手で継承されていくよう継続性も確保するべく準備を進めている．メンバは急場の寄せ集めのチームゆえ，3月末を目途に一旦プロジェクトはけじめをつけ，NPO法人の形式として残りの宿題を継承できるように準備を整えている．ここから逆算して，2020年の成人式くらいまでに写真とビデオの募集を停止する予定である．情報処理の読者諸氏にもぜひ，データの収集にご協力をお願いしたい．特に古い写真の発掘にご協力をいただければこの上なくありがたい．

画像1

文化財のディジタル化の現在

　文化財のディジタル保存に関しては，世界にさまざまな取り組みが存在する．世界的に有名なものとしては，CyArkというNPOの取り組みや，Google Open HeritageやMicrosoft AI for Cultural Heritageなど大手IT企業の取り組みがある．日本でもさまざまに取り組まれてきた1），2）．筆者もe-Heritage Workshopに2010年から運営側としてかかわっている．ほかには，筆者の知るかぎり，熊本大学などによる熊本城の石垣照合システム，東京大学の大石岳史や芳賀京子らによる文化財の形状解析の取り組み，立命館大学での着物の質感のディジタル化，京都大学での高精細アーカイブ化・無形文化財のアーカイブ化，NIIによるバム遺跡の復元，などが思い浮かぶ．件の首里城に関しては，2016年にNHKが8Kカメラでヘリコプターから撮影した画像で3次元モデルを復元しており，現在Web上でインタラクティブに操作できる形で公開されている3）．文化財のディジタル化に関しては，近年は世界中でさまざまなスタートアップが出始めているように思う．

OUR Shurijoチームの特色

　筆者らのOUR Shurijoチームは火災後に急場で寄せ集まった集団ではあるが，さまざまな専門性を持ったメンバで構成されている．まず，Raiz New Media（スペイン）の創業者の2人，および，Iconem（フランス）のCEOとCTOに参加してもらうことができた．両社とも文化財のディジタル化を生業とするベンチャーで，Raiz New Mediaは，Flickrから首里城の写真を収集し作成したモデルを11月1日にはTwitterで投稿している．
　Iconemはノートルダム大聖堂の火災に関し，Open Notre-Dameというプロジェクト（写真からの3次元復元を用いてさまざまなコンテンツを作成するもの）をMicrosoftと共同で発足している．両社ともすぐにメンバに加わってくれ，データ提供や技術的な助言がすでにある．そのほかには，沖縄出身のエンジニア，建築系のスタートアップやVRコミュニティに所属する個人，3次元復元で著名な研究者，琉球の歴史研究家，高校生の教育活動も行うファシリテータ，メディアの運営に携わる個人，メディアアーティスト，デザイナー，法律の専門家，など多様である．学生も原稿執筆時点で6名おり，それぞれの得意分野で活躍している．
　ソフトウェアはCapturingReality社のReality Captureのライセンス提供を受けており，また公開されているVisualSFM, CMVS, COLMAPなども用いている．作成中のモデルはSketchfabというモデル共有サイトにアップしていく予定である．情報処理の読者諸氏にも時々Webサイトを覗きにいらしてモデルの進捗を確認しつつ，写真提供などで，ぜひプロジェクトにご協力をいただければと思う．最終成果も楽しみにお待ちいただきたい．

参考文献
1）Ikeuchi, K., Oishi, T., Takamatsu, J., Sagawa, R., Nakazawa, A., Kurazume, R., Nishino, K., Kamakura, M. and Okamoto, Y. : The Great Buddha Project : Digitally Archiving, Restoring, and Analyzing Cultural Heritage Objects, International Journal of Computer Vision 75(1): pp.189-208 (2007) .
2）Ikeuchi, K. and Miyazaki, D. Eds. : Digitally Archiving Cultural Objects, Springer (2008).
3） https://www.nhk.or.jp/vr/AR/shurijo/

（2019年12月2日受付、「情報処理」Vol.61 No.2掲載）

■川上　玲（正会員）　rei@hc.ic.i.u-tokyo.ac.jp
　2008年東京大学大学院情報理工学系研究科博士課程修了．博士（情
報理工学）．同大学院情報学環などを経て 2018 年より同大学院特任
講師．コンピュータビジョンに関する研究に従事．