デービッド・ストークが語る - コンピュータビジョンが切り拓く美術史研究の新たな地平

デービッド・ストークによるTalks at Googleの講演内容をまとめます。

美術史研究は、長い間人間の目と経験に頼ってきました。しかし、近年のコンピュータビジョンと人工知能(AI)の発展により、この分野に革命が起きつつあります。スタンフォード大学の非常勤教授であるデービッド・ストーク氏は、美術史の問題に厳密なコンピュータビジョン、機械学習、AIを応用した先駆者として知られています。ストーク氏がコンピュータビジョンが美術史研究にもたらす新たな可能性と課題について語ります。

コンピュータビジョンの美術史への応用

ストーク氏は、コンピュータビジョンを美術史研究に応用することで、以下のような新しい分析手法が可能になると述べています：

a) 大量の肖像画におけるポーズの分析
従来、美術史家は目視でポーズを分類していましたが、コンピュータビジョンを用いることで、大量の肖像画を短時間で分析することが可能になりました。例えば、11,000点の絵画のヨー回転角を5分で分析した例が紹介されています。これにより、時代や地域、画家によるポーズの傾向などを明らかにすることができます。

b) 絵画の照明の分析
コンピュータビジョンを用いることで、絵画における光源の方向を従来の方法よりも正確に推定することができます。ストーク氏は、フェルメールの「真珠の耳飾りの少女」を例に、6つの異なる手法を用いて光源方向を推定しました。これにより、絵画の制作過程や画家の意図を解明するだけでなく、複数人物の絵画における光の整合性を分析することも可能になります。

c) 絵画の遠近法の分析
コンピュータビジョンを用いることで、絵画における遠近法が光学機器を用いずに描かれたものかどうかを検証することができます。ストーク氏は、ファン・エイクの「アルノルフィーニ夫妻の肖像」の鏡に写るシャンデリアの遠近法を3Dコンピュータグラフィックスモデルを用いて分析し、光学機器の使用を裏付ける証拠が見つからなかったことを示しました。

d) 絵画の意味論的分析
コンピュータビジョンとテキスト分析を組み合わせることで、絵画に描かれたオブジェクトの意味や、画家の意図を解釈することができます。ストーク氏は、「ヴァニタス」の絵画を例に、テキスト分析によってオブジェクトと意味の関連性をデータベース化し、絵画に描かれたオブジェクトをクリックすると、その意味が表示されるAIシステムの開発構想を紹介しています。

e) 失われた美術作品の復元
コンピュータビジョンを用いることで、白黒写真やスケッチ、文献資料などから、失われた美術作品を復元することができます。ストーク氏は、クリムトの作品を例に、現存する作品や文献資料などを元に、白黒写真をカラー化した例を紹介しています。

コンピュータビジョンがもたらす美術史研究の利点

ストーク氏は、コンピュータビジョンを用いた美術史研究には以下のような利点があると主張しています：

a) 大量のデータ分析
コンピュータを使用することで、従来の絵画史研究では不可能であったような、数千点、数万点規模の絵画データの分析が可能になります。これにより、時代や様式による傾向を明らかにすることができます。

b) 人間の視覚の限界を超えた分析
コンピュータは、人間の目では判別が難しい微妙な違いを正確に捉えることができます。例えば、光源の方向の推定は人間には難しい作業ですが、コンピュータは正確に光源の位置を特定できます。

c) 客観的な証拠に基づいた解釈
コンピュータ分析によって得られた客観的なデータは、美術史における論争の解決に役立ちます。例えば、ストーク氏はコンピュータによる光源分析を用いて、デビッド・ホックニーの光学機器使用説に対する反証を試みました。

d) 失われた美術作品の復元
コンピュータ技術を用いることで、現存しない美術作品を復元できる可能性が開かれます。これにより、失われた芸術作品の姿を現代に蘇らせることができます。

e) 美術史研究における新たな課題の提示
コンピュータを用いた美術史研究は、従来の絵画史では取り組むことのできなかった新たな課題を提示します。例えば、絵画の表面的な構造を超えた、より深い意味や作家の意図を解釈する「意味論」の重要性が指摘されています。

美術史研究におけるコンピュータビジョンの課題

ストーク氏は、コンピュータビジョンを美術史研究に応用する際の課題についても言及しています：

a) 作品のより深い意味の理解
従来のAIは写真やビデオ内の対象物を識別できますが、芸術作品の意味を解釈したり、芸術家の意図を理解したりすることはできません。例えば、ヴァニタス画に描かれたオブジェクトの意味を理解することは、AIにとって大きな課題です。

b) スタイルの認識と定量化
美術作品のスタイルは、時代や地域、画家によって大きく異なり、明確な定義や境界線を引くことが難しい場合があります。これは、従来のAIが写真や動画を扱うのとは異なる課題を提示します。

c) 小規模なデータセットからの学習
美術作品は、AIのトレーニングに必要な大規模なデータセットが不足しています。これは、著名な芸術家でさえ、比較的少数の作品しか制作していないためです。

d) 非現実的なオブジェクトの処理
多くの美術作品は、現実世界の制限にとらわれず、コンピュータビジョンシステムでは解釈が難しい場合があります。

e) 抽象化の処理
抽象的な美術作品の場合、その意味や意図を解釈することがさらに困難になります。

美術史研究におけるコンピュータビジョンの未来

ストーク氏は、これらの課題に対処するために、以下のような戦略を提案しています：

a) ディープニューラルネットワークのスタイル転送
既存の美術作品のスタイルを模倣した新しい画像を生成し、セグメンテーションなどのタスクのためのトレーニングデータを拡張することができます。

b) テキスト分析との統合
テキスト情報と視覚情報を関連付けることで、絵画に込められた複雑な意味や概念を明らかにすることができます。

c) 既存の知識と専門知識の活用
コンピュータビジョンは、照明、遠近法、象徴性を分析するためのツールを提供し、美術史家が作品を新しい視点で見ることを可能にします。

結論

コンピュータビジョンと人工知能の進歩は、美術史研究に革命をもたらす可能性を秘めています。大量のデータ分析、人間の視覚の限界を超えた分析、客観的な証拠に基づいた解釈など、これらの技術は美術史家に新たな洞察をもたらします。しかし、作品の深い意味の理解やスタイルの認識など、依然として課題も残されています。

ストーク氏が指摘するように、コンピュータビジョンは美術史研究において、顕微鏡や望遠鏡のように欠かせないツールになると考えられます。しかし、最終的な解釈は、美術史家の専門知識や感性に基づいて行われるべきであり、コンピュータビジョンはあくまでも補助的なツールとして位置付けられるでしょう。