ディープラーニングでさえ長い下積み時代を経て認められたいう事実に勇気付けられる書籍『ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る』
そうかそうか、そんなに大変だったのか。イノベーションの裏には必ず紆余曲折がある。
ディープラーニングが生まれるまでの軌跡を描いた『ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る』を読んだ。ディープラーニングの生みの親のひとりであり、コンピュータ科学のノーベル賞と言われているチューリング賞をジェフリー・ヒントンやジョシュア・ベンジオと一緒に受賞したヤン・ルカンによる著書だ。
第3次AIブームの火付け役であり、最近のAI技術のブレイクスルーを生んでいるディープラーニングでさえなかなか世の中からその有用性が理解されず、長い下積み時代を経てブレイクしたという事実に、世間から認められない間も研究をし続けていくために必要なことのヒントを得ることができる。
私はALIFE（Artificial Life）という研究分野に関わって10年になる。AI（Artificial Intelligence）という言葉は世の中に浸透しているが、ALIFEの認知度はまだまだ低い。そのため技術が世の中に広く認知されるためには大事なことはなんだろうか、とよく考える。そこで、『ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る』をその答えのヒントをくれる本として紹介したい。
ちなみに、表紙に描かれている「quand la machine apprend」というタイトルが原題で、もともとはフランス語で描かれた本である。ヤン・ルカンはフランス人で、その後、ジェフリー・ヒントンに誘われて、博士課程期間中にトロント大学に客員研究員として参加。その後、アメリカへと移住している。
さて、世間から認められない間も研究をし続けていくためのポイントをここでは３つに絞って紹介する。
ポイント1：他人がなんと言おうと自分の確信を信じる
新しい技術や発見が、発表当初あまり評価されないことは多々ある。アボガドロの法則、オームの法則、メンデルの法則などなど、多くの偉大な発見が長く認められないといったことが科学の歴史には散見する。ヤン・ルカンたちの「畳み込みニューラルネットワーク」（ディープラーニング）も、良い結果が示されているのにも関わらず、論文を審査した査読者たちはこれほどまでにうまく機能することが理解できないという理由で、何度も論文を不採択にされている。
今となってはにわかに信じがたいが、ニューラルネットワークを使った手法はタブー視され、サポートベクターマシーンなどの「古典的」機械学習の支持者たちによって、ニューラルネットワークは長らく嘲笑されていたのである。畳み込みニューラルネットワークが科学者コミュニティに認められたのは2010年頃になってからであった。
しかし、ヤン・ルカンはその有効性を一度も疑うことはなかったという。
私は一度も疑わなかった。人間の知能はあまりに複雑なので、模倣するには、経験によって自ら学習する能力を備えた自己組織化システムを構築する必要がある、とずっと確信していた。
ヤン・ルカンは、高校卒業後に進学したグランゼコールで、パーセプトロンという学習機械の存在を知ったときから、自己組織化という現象のとりこになったという。それ以来、ニューロンの大規模な集合体からどうして知能が出現するのか？という興味を探求し続けている。誰にも理解されなくても、自分の興味に従い探求し続けているうちに、理解を示してくれる数人の人たちがあらわれ、その人達とのつながりを通じて次のステージを作っていける。ヤン・ルカンとジェフリー・ヒントンの出会いもそうだし、ヨシュア・ベンジオとの出会いもそうだ。自分を信じ、興味を探求し続けていると、おのずと一緒に仕事をする仲間が集ってくる。
発明は無から生まれない。それは試行錯誤や落胆、交流の結果であり、その価値が認められるにはたいてい時間がかかる。
『ディープラーニング 学習する機械 』p.49より
ポイント2：諦めずに情報を発信し続ける
信じ続けること、発信し続けることで少しずつ仲間の輪が広がっていく。最初は論文も受理されなかったが、それでも少しずつ理解者が増えていった。2006年以降は、輪の広がりが臨界値を超えたのか、学会に論文を投稿すると、査読者の中に３人の考えに同調する専門家が含まれていることが多くなったという。
徐々に受け入れられ、臨界点を超えていく様子は論文の被引用件数にもみてとれる。
ヤン・ルカンが筆頭著者の「Gradient-based learning applied to document recognition」は、今では多くの人が畳み込みニューラルネットワークの草分け的な存在とみなしている論文だ。
1998年から2008年までは論文の被引用数が1年に数十件と大した反響ではなかった。そして、論文が発表されてから15年以上経った2013年以降は指数関数的に増大し、2018年には5400件、2019年には2万件を超え、2022年現在では、4万件近くに達している。
石の上にも三年。諦めずに情報発信しているうちに、論文は受理されないことが多かったが、その代わりに、DARPA（先端軍事技術研究プロジェクトを指導する米国国防総省の機関）からの理解が得られ、ディープラーニングを移動式ロボットの操縦に適用する大規模な研究プロジェクトを通じて、技術を発展させた。
ポイント３：発表の場を自らつくる
しかし、現実には科学者コミュニティに認知されないとその発表の機会を得ることが難しいことも事実だ。実際、ヤン・ルカンらもディープラーニングのワークショップを国際会議の主催者に提案し、何の説明もなく拒否されたりしている。そこで、必要になってくるのが、発表の場を自らつくることだ。
手段を選ばない啓蒙活動もときには必要となる。ワークショップの提案が不採択になったヤン・ルカンらは、無許可のゲリラワークショップを企画した。結果的にそのワークショップはもっとも人気を博したワークショップとなり、専門家の文献にも「ディープラーニング」という言葉が記されるようになった。
他にも、ジェフリー・ヒントンは、ディープラーニングがなかなか認知されない2010年当時、彼の研究室に所属する3人の博士課程の学生を、サマーインターンシップを利用して、Google、Microsoft、IBMに送り込んだ。そして、音声認識の分野で最先端を走っていた各社のシステムのコアモジュールを深層ニューラルネットワークに置き換えるように指示した。そしたら、なんと成功し、システムのパフォーマンスが目に見えて向上した。それから1年半もしないうちに、3社はディープラーニングをベースにした新しい音声認識システムを展開し始めた、という。なかなか天才的な戦略である。
こうした努力の末、2012年にはディープラーニングの有効性が確立され、第3次AIブームへとつながっていった。
以上のように、本書にはヤン・ルカンの目線で、ニューラルネットワークとの出会いから、ディープラーニングという名前の命名、そして、畳込みニューラルネットワークが世の中に認められるまでの数十年に渡る過程とその後の展開で、何を経験し、何を学んだかが描かれている。
他人がなんと言おうと自分の確信を信じること。すると考えに賛同する仲間がおのずと集まってくる。諦めずに情報を発信し続けること。すると拾う神ばかりではなく拾う神が現れる。そして、研究成果を試す場や広める場を創意工夫を凝らして自ら作り出すこと。そうすれば自ずとチャンスが訪れる。ディープラーニングがたどった下積み時代のエピソードを知ることで、世間から認められない間も研究を続けるために必要なことのヒントを得ることができる。
本書には、他にもヤン・ルカンがザッカーバーグにスカウトされ立ち上げたFacebook人工知能研究所設立の経緯や、最近のAI研究や今後のAIに関する技術的な展望にも触れられている。ディープラーニングについてはもちろん技術的な興味が満たされる内容となっており、AI研究者・技術者の必見書となっている。
ぜひ読んでみてください。
この記事が気に入ったらサポートをしてみませんか？