AIブームを科学史的にたどる~画像~
AIを学ぶ人は必ず多少の歴史をならいます。
第一次、第二次ブーム、エキスパートシステムなどなどの成功と失敗、
そして2012年のAlexNetによる第三次ブームと学びます。そして、その理由として「コンピュータリソースの改善」があげられます。
しかし、よく言われているようにBack PropergationやCNN 自体は1980年代にはすでに開発されていたわけで、それが結実したのが2012年であったにすぎません。
では「なぜ2012年だったのか」？
HintonによるDBMが2006年で、LeCunnたちのCNNは1990年です。そういったネットワークの基礎があるのであればもう少し早く手もいいはずです。
実際にCNN＋GPUによる画像分類は2006年あたりからかなりの性能を見せていたのがうかがえます。つまり「たまたま注目されたのが2012年だった」にすぎません。
逆に言うと「人工知能」というものについて再び意識を向け始めたのが2012年だったということにもなります。
2012年のAlexNetをめぐる経緯を少し論文をたどりながら科学史的に辿っていきます。
AlexNetの論文を読む
先のwikiにも書かれているように「CNN＋GPU」のアーキテクチャはすでに確立していましたので、単に「ImageNetにおいて性能を発揮した」というレベルにすぎません。
主著者のAlex KrizhevskyはHintonのところの学生でして、タイミング的にそろそろD論を描き始めるころですね(カナダは博士大体3.5年だそう)。
[12] A. Krizhevsky. Learning multiple layers of features from tiny images. Master’s thesis, Department of Computer Science, University of Toronto, 2009. [13] A. Krizhevsky. Convolutional deep belief networks on cifar-10. Unpublished manuscript, 2010. [14] A. Krizhevsky and G.E. Hinton. Using very deep autoencoders for content-based image retrieval. In ESANN, 2011.
ちなみにこのペーパーにAknowledgementがありません。同時期のHintonのペーパーを見てもAknowledgementがない。例えばAuto Encoderの走りとして有名な
Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580, 2012.
でもありません。つまりは「Grantらしきものをとっていない」可能性があります笑
つまりは2012年時点において「Deep Learning」はなけなしの金で研究するような研究だったのが伺え、注目されるような技術ですらなかった。
ImageNetの歴史
AlexNetが脚光を浴びたといわれているのがILSVRC(ImageNet Large Scale Visual Recognition Challenge) 2012です。このコンペでの成功がAIの始まりとされている。
ImageNetは2010年あたりからプロジェクトが開始されています。
オントロジー(要は画像の(自然科学的な意味の)分類学)が目的と書かれており、そのベンチマークのデータセットを作成するというのがゴールだったようです。
ILSVRCの要綱を見ていると明確に「Train and Test」と書かれており、明確に「機械学習」を前提にしているのが伺えます。
2010年当初、ILSVRCはGoogle, Intel, MicroSoft, Yahoo, NSFが出資されています。NSFの内容を見ていると「Content Aware Similarity Serach」とあり、画像検索に対してのニーズがあったことが伺えます。
ちなみになんですが、このチャレンジ7チーム(30人)しか参加してません笑
今現在喧伝されているような「衝撃」はコンペの瞬間には誰にも与えていない笑
こちらもある意味であまり興味を持たれていない分野だったというのもうかがえます。
Alexがコンペに参加したのは先のD論時期だったというのが大きく関係しているのは間違いないでしょう。「D論に乗せるそれらしい成果」が欲しかった。ひょっとすると就活だったのかもしれません。ほかの人のアルゴリズムを見ているとSIFTとか今ではあまり聞かない画像処理系のアルゴリズムを使っていて、手法の毛色が違いすぎます。
学問の世界では興味の対象がずれた研究会はあまり得るものがないので基本的に避ける傾向があります。そういうところに出られるのはある意味で若者の特権な部分があります。
Alexさんが自分で見つけて参加したいといったのか、Hintonの指示だったのかは本人たちにしかわかりませんが、彼らの参加は「イレギュラー」であったのは確かです。
すでにGPU＋CNNである程度の性能が出ることは知っていましたのである程度の精度になることは織り込み済みだっただろうとは思いますが、本人たちも「圧倒的」になるとは想像してなかったでしょう。
そしてその精度が出資者であるGoogle, Intel, MicroSoftの目に留まったのは想像に難くありません。
つまり、AIのことの起こりは「Google等が資金を出してた画像検索のこじんまりした研究プロジェクトに’たまたま’D論の成果が欲しかったAlexが参加して、いい結果を出した」と言っていいでしょう。
学問的な効果
先も言ったように7チームしかコンペに参加していないわけなので、そこで勝ったといってもさほど話題になりません。例えば、高温超電導の温度が10度上がったところで世間へのインパクトはさほどない。
AlexNetの登場は学問的にインパクトがあったかと言われるとおそらくそこまででもないはずです。なぜならばそれ以前にすでに良好な結果があるわけでAlexNetは「凡庸」なAIモデルです。
しかし、2013年になると一気に参加チームが２３に増えます。
「革命」のように見えますがなんてことはない。「AlexNetで勝てるなら（もっと良いモデルを持っている）俺たちでも勝てる」という参戦です。
つまり、「深層学習」研究界隈としてはなんのパラダイムシフトも存在していない。ただ「ほとんど同じことをやっているけれどかかわらないでいたお隣の研究分野」に気軽にいけるようになった。
一方で画像認識系の研究としては完全に手法を乗っ取られたことになります。その意味では革命とはいえるかもしれませんが、AlexNetに負けたグループたちも「機械学習」は使っていますので「深層学習」という機械学習の一部分がピックアップされたのみです。
社会的な効果
通常出資した研究で圧倒的な成果が出てもそこまで注目に値しません。研究は往々にして「たまたま」だったり、実際に適応すると使えないことが多かったりするからです。つまり、圧倒的な結果のために注目したわけではない。
その成果が「会社の開発方針」とマッチしているかというのが最も重要になります。
グーグルに関してはこの一年前の2011年にgoogle brainが発足したとあり、「グーグルは2012年前からすでに（詳細技術はなんであれ）AIに目をつけていた」という前提があります。
つまり2012年であったのは「googleが（深層学習以前の）人工知能プロジェクトに手を付け始めていた」というのも大きく関連していると言えるでしょう。先のコンペもこの流れでの出資の可能性すらある。
そこに渡りに船でalexnetの情報が届き、今の人工知能研究の流れを作ったという意味ではやはり大きいと言えますが、
なぜ「2011年にgoogleは人工知能に目をつけたのか？」という疑問が湧いてきます。
そこには画像認識ではない他の人工知能も絡んでいるはずです。
次はgoogleのその時代を取り巻く状況と戦略についてネットで拾える範囲で見ていきます。
この記事が気に入ったらサポートをしてみませんか？