｢空気を感じる機械｣を育てたお話【Dentsu Lab Tokyo】
こんにちは。Dentsu Lab Tokyo クリエーティブテクノロジストの村上です。
プランナーとして働きながら、得意領域の機械学習、フロントエンドを中心に幅広くプロトタイピングを実施しています。
さて、今回は私が過去にDentsu Lab Tokyoの自主開発プロジェクトとして制作した｢°Curation｣という機械学習インスタレーションのお話をさせていただきたいと思います。
°Curationはその時･その場所の気温･湿度と同じ空気の絵画を映し出す展示装置です。現実世界と非現実の世界を｢空気｣で繋ぐことで、新しい絵画鑑賞体験を生み出します。2019年度のアートフェア東京にて展示を行いました。
制作時のエピソードについては、チームの岡村さんが漫画を執筆してくれています。（こちらもぜひ！）
今回はこのインスタレーションのテクニカルな背景と、制作を通じて得た個人的な学びについてご紹介したいと思います。
巨人の肩に乗って戦う
自分がジョインしたタイミングでは｢風景写真からその場所の気温･湿度を推定する識別器｣が実装可能なのかというフィジビリティ(実現可能性)の確認が大きな焦点になっていました。
そこでまず、気温推定に関連する論文を探しまわり、論文レベルでどの程度のことが実現出来ているのか調査をしました。
今は誰でも無料で査読前の論文を閲覧できるarXivがあります。偉大なる先人たちと運営のコーネル大学図書館に大いに感謝しつつ、最終的に下記の三本の論文にたどり着きました。
ちなみに、近年ではPapers With Codeという素晴らしいウェブサイトがあり、このような機械学習関連の技術調査がかなり楽になりました。日々、世界への大いなる感謝とともに生きております。
これらの論文を読み込むことで、以下の情報を得ることができました。
可能なこと：学習データと同じ場所であれば、Deep Learningを用いて風景画像から気温を3-6度の精度で推定することが可能。
課題：学習データと違う場所の気温/湿度の推定は先例がなく、既存の手法では失敗する可能性が高い。
今回は学習データと違う場所の気温/湿度を推定する必要があるため、この課題をクリアする必要があります。
そこで、既存の研究よりも大規模なデータセット、具体的には数千〜数万地点の気温･湿度つきの写真のデータセットを使うことで、学習データと違う場所の気温と湿度も推定できるような機械学習モデルを構築できるのではないかという仮説を立てました。
しかしながら、探してみてもそのようなデータセットはこの世に存在しません。そこで、データセットの構築方法が次の課題になりました。
データとデータの掛け算で新しい可能性を生み出す
データセットの構築にあたり、今回は写真の画像データに含まれるメタデータに着目しました。メタデータには、その写真が撮影された日時の情報と、撮影された場所のGPS情報が含まれています。
写真が撮影された場所と時間が分かれば、その最寄りの気象観測台の観測データを用いることで、その写真が撮影された時点での気温･湿度を大まかに推定することができます。
このように、時間とGPS情報をキーに画像のデータセットと気象観測データセットを結びつけることで、｢気温･湿度つきの写真データセット｣という新しいデータセットを生み出すことにしました。
｢新しいデータセットを作り出さないといけない｣ということが分かったとき、このちょうど良い無理さ具合が、新しいものが生まれそうな予感がして、とてもワクワクしたことを覚えています。
今回は画像のデータセットとしては、Yahoo Flickr Creative Commons 100Mというデータセットを使用しました。これは、Flickerに投稿されたもののうち、権利フリーな1億枚の画像を集めたデータセットです。
気象のデータセットとしてはGlobal Historical Climate Network dailyという、180ヶ国、80,000地点の気象観測所の観測結果をまとめたデータセットを使用しました。
このデータセットは一日の最低気温、最高気温しか含まれないため、一日の気温の推移をシミュレーションした上で、撮影時のだいたいの気温を推定する、という工夫を行いました。
また、湿度のデータは含まれなかったので、湿度の学習は気温と別のデータセットを用いて行いました。
機械学習プロジェクト遂行の心得
これでようやく必要なデータが揃いました。ついに、ディープラーニングを用いた学習の工程です。今回は、当時最新だったDenseNetというネットワークを用いて学習を行いました。
これは機械学習プロジェクトに取り組むときに毎回直面する難しさなのですが、ディープラーニングによる学習が終了するまでプロジェクトがうまくいくのかわからないという、ギャンブルのような性質があります。
特に私達のような業界では、アウトプットの場所や条件が決まったあとでこのギャンブルのタイミングを迎えるので、不確定性とうまく戦いながらプロジェクトをハンドリングする必要があります。
そこで、自分は機械学習のプロジェクトに取り組むときは
理想のAプラン
失敗時の保険のBプラン
どうしてもうまく行かない最悪の場合のどうにかセーフティネットのCプラン
の3プランを必ず用意するようにしています。
このようにすることで、精神的にかなり楽な状態でプロジェクトに挑むことができ、失敗時のリカバーもスムーズに行うことが出来ます。逆に、C案まで浮かばない場合は、企画そのものに大きなリスクが潜んでいると考えます。
今回は、下記のようなプラン設計で学習の工程に挑みました。
Aプラン：ディープラーニングのみを用いた学習法
Bプラン：ディープラーニングによる特徴抽出と、比較的データが少なくても学習が安定する｢ランダムフォレスト｣を組み合わせた学習法
Cプラン：既存の手法ですでに実現している、昼夜や天気、季節の推定結果を用いて擬似的に気温を推定する方法（学習は行わない）
結果、気温推定はAプランで成功しましたが、湿度の推定はデータ量が足りず、Aプランではうまく学習出来なかったため、予備のBプランで学習を実施し、結果正しい学習結果を得ることができました。
このようにして、画像から、その場所の気温と湿度を想像する、｢空気を感じるAI｣が生まれました。その後紆余曲折あり、絵画世界と現実世界を空気で繋ぐ｢°Curation｣が誕生します。
以上、インスタレーションのテクニカルな背景と、制作を通じて得た個人的な学びについてご紹介しました。
特に、｢最低3プラン用意する｣という点は、不確実性と付き合いながら目標のアウトプットを実現するために、重要なノウハウだと思っています。
やってみるまでうまくいくかわからない、でもだからこそ新しい、ワクワクできる。Dentsu Lab Tokyoではそんなプロジェクトを、これからも生み出して行きます。
村上 晋太郎 Shintaro Murakami
Creative Technologist
東京大学工学部･東京大学大学院情報理工学系研究科卒。
大学時代は自然言語処理、画像認識、遺伝的アルゴリズムの研究に従事する。
機械学習、WEBアプリ、iOS、ARなどを得意領域としつつ、幅広くテクノロジーとクリエーティブに携わる。
生き物の働きを模倣するプログラムが好き。
---------
Dentsu Lab Tokyoは、研究・企画・開発が一体となったクリエーティブのR＆D組織です。メンバーは、コピーライター、プランナー、アートディレクター、テクノロジスト、リサーチャー、映像ディレクター…など、さまざまな職能をもった人たちです。日々自主開発からクライアントワークまで、幅広い領域のプロジェクトに取り組んでいます。是非サイトにもお越しいただき、私たちの活動を知っていただけると幸いです。
このnoteでは、Dentsu Lab Tokyoのメンバーのご紹介、制作の裏話、イベントのレポートなどをお届けできればと思っています。
現在、個性豊かなメンバーが、興味があることや好きなことを執筆する連載をお送りしています。多種多様な集団の頭の中を、ちょっと覗いてみてください！
この記事が気に入ったらサポートをしてみませんか？