論文輪読トレーニング！ Dynamic Routing Between Capsules (CapsNet)

こんにちは！akiです。フリーランスプログラマーをしています。専門は画像認識とロボットプログラムです。

改定履歴

2019/01/02　導入ページ公開
2019/01/18　導入ページ更新　

本記事の対象となる方

AI、ディープラーニングについて本やWebサイトを使って勉強しているが、やっぱり論文(オリジナル)から読めるようになりたい！理解していきたい！でも英語力と数学力が足りないので読めない！という方に向けた記事となります。

例えば、オライリージャパンのゼロから作るDeep Learningのような機械学習やディープラーニングの入門書は、読んだことを前提としています。もちろん、こちらの本もしっかり読み込めば奥が深いので、すべてを理解している必要はありません（例：詳細な数式の変換など）。そして、昔に読んだが、もう忘れてしまった！という人のためにも、今回なるべくわかりやすくなるように丁寧な説明を心がけていきます。

どうして書こうと思ったか

当時私自身がAI・ディープラーニングの初心者で勉強をしていて思ったことですが、本屋に売っているのは、たいていディープラーニング入門書で、ニューラルネットワークの概要やCNNまでを実装込みで扱っているものでした。もちろん私も例にもれず上記のような本で勉強していました。例えば、オライリージャパンのゼロから作るDeep Learningのような本です。

しかし、その本を終えると次はというと、いきなり英語の論文を読むか、PRMLや深層学習のような難しく分厚い本を読むストーリーになっていました。私はここのハードルがかなり高いように感じました。

大学や研究所に所属するAI研究者(AI Scientist)なら当然ですが、企業に所属する or フリーランスのAIエンジニア(AI Engineer)であっても、最終的には論文をバリバリ読んでいけるようになりたいのに！と思っていました。

問題点は、
1. 論文が英語であり、自分に英語力が足りないこと（現状のGoogle翻訳でもうまく訳してくれません）
2. 論文を訳せたとしても、機械学習の入門書を数冊読んだだけでは、関連の知識が足りなさ過ぎて、何が書かれているのかよくわからないこと
3. 数学力も足りなくて、眼に入る数式が呪文にしか見えないこと

でした。といっても、どうしようもありませんでしたので、なんとか持っている自分の英語力とGoogle翻訳を頼り、大学で勉強した数学を復習し（僕の大学時代の専攻は、機械学習・ディープラーニングではなく化学でしたが、幸い理系で数学は勉強しました。）、知り合いを頼り、がむしゃらに論文を輪読しました。

それから少し時がたち、あの頃の自分だったら、こんなサイトがあったら重宝するだろうなと思って、執筆を思い立ちました。(もちろん私自身今で完璧という訳ではなく、随時勉強中です(^-^))

こういった論文解説で、機械学習初心者～中級者でも読める日本語のものは、ほぼ存在しないので皆様のお力に沿えると思います！

目標

このマガジンの目標は、機械学習初心者～中級者の方が、論文一報をオリジナルから理解すること・理解できるようになる力をつけることです。

論文は基本的にarXiv.org(読み方:アーカイブ ドット オルグ(通称アーカイブ))に最も早く掲載されます。arXiv.orgの読み方・使い方がわからない方は、また記事にしますので、そちらを参考にしてください！

本記事の構成・読み方

論文の原著を画像で貼り、その下に日本語訳と解説を混ぜていきます。読み物形式でまとめていきますので、読書をする気分で読み進めていただければと思います。

機械学習界隈で、暗黙の了解で扱われる内容(専門知識)などは、なるべく説明をつけるようにしていこうと思います。また長くなるものはcolumnとして取り上げていきます。

論文の原本も手元にあると便利かもしれません。

具体的な勉強方法はお任せですが、1パラグラフずつ分けて記載してありますので、まず論文の英語を1パラグラフ読んで、どんな内容か考えてみてください。そして、答え合わせの気分で下の日本語訳と解説を読んでいただければよいかと思います。難しい英単語はパラグラフの下にまとめておきます。それを参考にしてみてください。

まとめにも載っていないけど、よくわからない英単語がある場合は、自分で調べていただければと思います。

こういったトレーニングを積み重ねることで、徐々に論文が読めるようになると思います。

必要な数学のレベル

高校数学で出てくる概念はそれなりにわかるが、大学数学はちょっと、という方を基準に書いていくつもりですが、なるべく数学の振り返りも入れて、基本的にはどなたでも読める記事を目指していきたいとも思います。(^^)/

今回取り上げる論文

今回取り上げる論文はトロント大学教授ジェフリーヒントン先生が2017年11月7日にarXiv.orgに投稿した「Dynamic Routing Between Capsules」です。

それでは次回より輪読トレーニングを始めます！
時間を作って、アップしていきますのでぜひチェックお願い致します。(^^♪

p.s.
もしこの記事に興味があれば、ぜひスキボタンやフォローしていただけると助かります。どのくらい読みたい人がいらっしゃるのかによって、更新頻度を変える予定です。🙂

また希望などございましたら、お気軽にコメントいただければと思います。