見出し画像

【技術解説】Searching for AR Time Machine Content

デザイニウム

Introduction - はじめに

この記事は、デザイニウムのARエンジニアMatt（@mechpil0t）がどうして『AR Time Macchine』を開発しようと思ったのか、そして普段どのようにコンテンツとなる場所や動画などを探しているのかを解説します。
そもそも『AR Time Machine』って何？と思った方は、ぜひ以下の記事もご覧になってみてくださいね😊

Video - ビデオ

The AR Time Machine concept began with encountering a video. 

「AR Time Machine」のコンセプトは、あるビデオとの出会いから始まりました。

One day while idley scrolling through Twitter I came across a video which had been upscaled & enhanced using neural networks. The point of the tweet was to highlight the digital restoration possibilities, however I was more interested in locations in the 100+ year old video that I recognised. 

ある日、Twitterをぼんやりと眺めていたら、ニューラルネットワークを使ってアップスケール＆エンハンスメントされたビデオに出会いました。このツイートは、デジタル修復の可能性を強調するものでしたが、私は100年以上前の映像の中で見覚えのある場所に興味を持ちました。

From here I found the original footage:

The most striking and famous landmark in this video is the Asakusa Temple Gate (2:50) and so I decided to use this for the very first AR Time Machine prototype. 

この映像の中で最も印象的で有名なランドマークは浅草寺の山門（2:50）であり、これを一番最初の「AR Time Machine」プロトタイプに使用することにしました。

While I knew I could align the video and the real location, I did not realise quite how perfectly the image would match and how fun the simple experience would be.

After testing on location and taking a video I went searching for more old footage containing familiar locations. My first method was simply searching youtube for “showa” ero videos, watching them, and then trying to recognize locations I had seen while walking around Tokyo. With these videos I made the second AR Time Machine:

映像と実際の場所を一致させることができるのはわかっていましたが、映像がどれだけ完璧に一致するか、またその単純な体験がどれほど楽しいものになるかはわかりませんでした。

現地でテストをしてビデオを撮った後、私は身近な場所で撮影された古い映像を探しました。最初の方法は、YouTubeで "SHOWA "EROの動画を検索して見て、東京を歩いているときに見たことのある場所を認識するというものでした。これらの映像を使って、2つ目のARタイムマシンを作りました。

However I quickly ran out of easy targets and finding the locations of further videos required a lot more internet detective work. 

Once I ran out of easily recognisable landmarks I began to search using Google Maps to try to find exact locations that old videos were shot from. This was particularly useful for locations I couldn't easily travel to such as Nikko:

しかし、すぐに簡単なターゲットはなくなり、次のビデオの場所を見つけるには、さらにインターネット上での検索が必要になりました。

簡単に認識できるランドマークがなくなってからは、Googleマップを使って、古いビデオが撮影された正確な場所を探し始めました。この方法は、日光のように簡単に行くことができない場所を探すのにとても役立ちました。

I also began scouring the comment sections of many old videos as many of them contained hints at the locations within the video such as the following comment in this video: 

また、昔のビデオのコメント欄を見てみると、ビデオ内の場所を示すヒントが書かれていることが多く、例えばこのビデオには次のようなコメントがありました。


While some old videos contain the same landmarks such as Hibiya Park Fountain, other videos contain locations which are now unrecognizable.

日比谷公園の噴水のように同じ場所が映っているものもあれば、今では見たこともない場所が映っているものもあります。

However if the location of the video is known then I could find the location of the video by searching through wikipedia and history focused blogs such as  https://ima.goo.ne.jp/column/writer/32.html
www.oldtokyo.com

These sources often contained locations of buildings featured in the old videos but which are now destroyed. Using this information in combination with old and new maps I could pinpoint the video locations such as with the Hibiya Theatre demo:

しかし、ビデオの場所がわかっていれば、ウィキペディアや歴史をテーマにしたブログなどを検索して、ビデオの場所を見つけることができます。
https://ima.goo.ne.jp/column/writer/32.html
www.oldtokyo.com

これらの情報源には、昔のビデオに登場した、今は破壊されてしまった建物の場所が載っていることが多いです。この情報と新旧の地図を組み合わせることで、日比谷野外音楽堂のデモのようにビデオの場所を特定することができます。

These history focused blogs also led me to new videos which I could use for the AR Time Machine and taught me about interesting locations I would have never known existed throughout Tokyo, such as Kettle’s German restaurant in Tokyo that was home to spies and espionage throughout the showa era. 

Finally for videos that contained no location information in the Youtube title, description or comments, and were not the feature of some historical blog post, I had to employ location/geo guessing. Made popular by the game “geoguessr.com”, Location/Geo Guessing is the process of trying to guess the location that a photo was taken based only on the photo. For the AR Time machine content this involved trying to use street signs and the layout of roads and railways to determine the locations in the video. For reading street signs I got my wife to help as I don't read Kanji, but this was particularly difficult due to the low quality of old videos which made the kanji very difficult to read. 

これらの歴史に焦点を当てたブログは、ARタイムマシンに使用できる新しいビデオを紹介してくれました。また、東京にあるドイツ料理店「ケトル」は、昭和時代にスパイや諜報活動を行っていた場所であるなど、東京に存在するとは知らなかった興味深い場所についても教えてくれました。 

最後に、Youtubeのタイトルや説明文、コメントに場所の情報がなく、歴史的なブログ記事の特集でもない動画については、場所やジオの推測を行う必要がありました。geoguessr.com」というゲームで有名になった「位置・ジオ推測」とは、写真だけを見て、その写真が撮影された場所を推測する作業のことです。ARタイムマシンのコンテンツでは、道路標識や道路・鉄道の配置などから、映像の中の場所を推測しています。道路標識の読み方は、私が漢字を読めないので妻に手伝ってもらいましたが、昔の映像は画質が低くて漢字が読めないため、特に難しかったですね。 

Photogrammetry - フォトグラメトリ

While creating the AR Time Machine I was becoming more interested in photogrammetry but I did not think about using it for the Time Machine until I discovered the photogrammetry of ＠tasklong.

ARタイムマシンを制作している間に、写真測量に興味を持つようになりましたが、@tasklongさんの写真測量を発見するまでは、タイムマシンに写真測量を使うことは考えていませんでした。

His collection of photogrammetry models of buildings that were now destroyed made me realise how useful and powerful combining photogrammetry with AR could be for history and preservation. 

彼が収集した、今は破壊されてしまった建物の写真測量モデルは、写真測量とARを組み合わせることで、歴史や保存にどれほど便利で強力なものになるかを実感させてくれました。

After discovering these models I went searching for more photogrammetry of destroyed buildings but found very few. Unfortunately photogrammetry of old buildings is not very popular at the moment and some buildings such as Harajuku Station and the old Yokohama Cultural Gymnasium are sadly torn down before we can preserve them.

Thankfully “crowd sourced” photogrammetry is possible with popular locations and this technique has been used to create a photogrammetry scan of Okinawa Castle, which I hope to use next time I go to Okinawa. 

Future - 未来

“The Nothing” (see Neverending Story) is creeping through many parts of Toyko. Recently a huge part of Shibuya was flattened to make way for a new mall and extension to the JR station. Most of these destroyed buildings were not culturally or architecturally significant, however they were part of the history of Tokyo and I think worth preserving, at least digitally (also my favourite cafe was destroyed!). 

Buildings that were homes or shops for decades are being destroyed and replaced by malls and roads. While I’m not opposed to a city changing, it would be nice to take digital snapshots as we move through time.  

これらのモデルを発見した後、私は破壊された建物のフォトグラメトリーをもっと探しましたが、ほとんど見つかりませんでした。原宿駅や旧横浜文化体育館のように、残念ながら保存する前に取り壊されてしまう建物もあります。

ありがたいことに、人気のある場所では「クラウドソース」によるフォトグラメトリーが可能で、この技術を使って沖縄城のフォトグラメトリー・スキャンを作成し、次回沖縄に行く際に利用したいと考えています。 
今後の展開
東横のあちこちで「ザ・ナッシング」（「ネバーエンディング・ストーリー」参照）が発生しています。最近では、新しいモールとJR駅の拡張のために、渋谷の大部分が平らにされました。これらの破壊された建物のほとんどは、文化的にも建築的にも重要ではありませんでしたが、東京の歴史の一部であり、少なくともデジタル的には保存する価値があると思います（私のお気に入りのカフェも破壊されました！）。 

何十年も家や店だった建物が破壊され、ショッピングモールや道路に置き換えられています。街が変わっていくことに反対はしませんが、時間の流れの中でデジタルなスナップショットを撮ることができたらいいなと思います。  

画像1

Ways people could help  - 私達ができること

1. Get involved in creating photogrammetry. There is free software such as Meshroom and scanning can be done with any camera or phone. Tutorial in Japanese: https://styly.cc/ja/tips/photogrammetry_discont_photogrammetry/ 


2. People could take photos and we could process them.


3. If people know an interesting building that they feel is worthy of preservation we could scan it.


Maybe a contest/workshop would be nice to get people involved. I think most people have no idea photogrammetry is a thing. 

Hopefully, 3D scanning (with iPhone Lidar) will improve to make it easier for people. 

1. フォトグラメトリー（写真測量）の作成に参加する。Meshroomなどのフリーソフトがありますし、スキャンはカメラや携帯電話でもできます。日本語のチュートリアル：https://styly.cc/ja/tips/photogrammetry_discont_photogrammetry/ 


2. 写真を撮り、我々がそれを加工することができる。


3. 保存に値すると思う面白い建物を知っていたら、それをスキャンすることができる。


たくさんの参加を促すために、コンテストやワークショップを開催するのもいいかもしれません。ほとんどの人は写真測量というものがあることを知らないと思います。 

願わくば、3Dスキャン（iphone Lidarを使ったもの）が改善され、人々がより簡単に利用できるようになることを願っています。 

Event - みんキャプ

Mattも書いている”フォトグラメトリやスキャンのコンテストやワークショップ”ですが、デザイニウムがオフィスをシェアしている株式会社ホロラボが企画運営の「みんキャプ」というイベントが11月から開催されることが決定しました❗（Sketchfabの記事を読んでくださった方はもうご存知ですね😊）

みんキャプは、”みんなでLiDAR やフォトグラメトリなどでキャプチャした「地縛データ」(Location Based Data)を共有しよう”というお祭りです🏮

さまざまな場所や物が3Dモデル化されることは、AR TimeMachine やARコンテンツを開発しているデザイニウムとしてとても喜ばしいことなので、今回デザイニウムも協賛させて頂いています✨フォトグラメトリや３Dスキャンに興味がある方やこれからやってみたいなと思っていた方は、ぜひこれを機会に参加してみてくださいね😊

Editorial Note - 編集後記

こんにちは、デザイニウム広報のマリコです。大好きなMattのAR Time Machineシリーズですが、今までどうやってMattが日本中のさまざまな場所やデータを見つけているのか気になっていたのでスッキリしました❗
私も「フォトグラメトリや3DスキャンしてみたいけどLiDAR iPhoneじゃないんだよね…😢」と諦めていたのですが、LiDAR iPhoneではなくてもアプリで出来ることを知って早速はじめました📱✨「みんキャプ」では、参加者が集うDiscord（というチャット）もあって、初心者部屋や様々なキャプチャアプリの情報などの情報を得ることができたり、何よりみんなでキャプチャを楽しめるので、ぜひみなさん一緒にはじめましょう😊


この記事が気に入ったらサポートをしてみませんか？