CMU機械学習博士学位を取るための最初の一歩は鬼の統計学でした

こんにちは。私はカーネギーメロン大学のNeural Computationというプログラムで博士学生として学んでいます。そして、私のプログラムではMachine LearningとのJoint programという形で、卒業時にMachine LearningとNeural Computationの両方の学位を受け取ることができるような仕組みがあります。その仕組みに則り、私は、この秋から、CMUの機械学習の博士課程の授業の履修を始めました。

第一歩からとにかくとにかく苦しんだので、今日はカーネギーメロン大学のMachine Learning博士学位取得に興味がある人に向けて参考として最初の一歩がどのようなものだったか、何にどのように苦しんだのかを書いていきたいと思います。

最初の一歩：鬼の統計学

さて、タイトルにある通りです。CMUでは、機械学習の博士学位をとるために必修とされている授業が三つあります。それは、

・Intermediate Statistics (中級統計学)
・Advanced Introduction to Machine Learning (機械学習上級入門)
・Advanced Machine Learning (機械学習特論?)

の三つです(日本語訳変かもしれないです)。この中でどの順番で履修をしても良いのですが、私の場合、統計学が他二つのクラスの基盤になるだろうということ、また他はAdvanced(上級)とついている一方で、このクラスはIntermediate(中級)とついていたこともあり、Intermediate Statisticsを最初の秋セメスターに履修をすることに決めました。

しかし、この中級という言葉が(私の所感からすると)大嘘だったのです。。。私が想像していた統計学の授業は、確率密度関数を学び、そこから様々な検定の違いを学んでいき、最後に回帰についても少し触れるというようなイメージでした。私自身、元々数学科出身であり、また約二年前にニューヨーク大学心理学部で修士レベルの統計学の授業を履修したこともあったので、履修前はそれほど不安は感じていませんでした。

しかし初回の授業を受け、シラバスを確認して以降、私のこの授業に対する印象は大きく変わりました。Intermediate Statisticsの授業ではもちろんこのような内容もカバーされました。しかし、その上部だけを説明して、どのように使い分けることが説明をするような授業ではなく、その根底にある大元の理論の証明をひたすらやっていくような授業だったのです。

シラバスには、日本語ですら全く聞いたことがない数学の分野がずらずらと並んでいました。これから何を勉強するのかも全く検討がつかない状況でした。そして、この日以降、週に三日、ひたすら理論の証明をする完全なる数学の授業に臨むことになりました。

統計学の授業のカリキュラム概要

という説明だけだと、あまりどのような授業だったのかイメージが湧かないと思うので、シラバスの内容を少しだけ紹介をしたいと思います。

以下のリストがシラバスに表記されていた授業プランです。恥ずかしながら、私は最初のConcentration Inequalitiesというところから、早速？？？な状態でした。Inequalitiesは不等式のことですが、統計学で最初に不等式。。。？何を学ぶのという印象でした。

実際に、クラスは様々な不等式の証明から始まりました。この頃は、統計学との繋がりが全くわからず、証明している定理が何に繋がるのかも全くわからなかったのですが、ただ必死に授業に食らいつく日々でした。授業を一通り終えた今であれば、確かに不等式が機械学習に関わる様々な理論の基盤となっており、重要な役割を果たしていることは理解できるようになりました。

具体的に学んだ不等式の中で後もよく使われたのは、Markov's inequality、Hoeffding's inequalityの二つでした。両者とも私はこの授業を履修するまでは全く聞いたこともなかったのですが、日本でも機械学習に関わる統計学を学ぶをこのような内容も学ぶのかは疑問に思いました。

次に学んだのは、大数の法則と中心極限定理を中心とした以下のようなConvergenceに関する内容でした。このあたりは確かに私自身も学部生時代に統計の授業で学んだこともあり、Inequalityほど迷子にはなりませんでした。が、諸々の証明は理解に非常に苦しみました。

次の大きなセクションは、Maximum Likelihood estimator(MLE)やBayesian estimatorをはじめとした、Point estimationに関する内容でした。このあたりは、機械学習の応用との関連性を強く感じましたが、あくまで授業は理論中心でした。今までフワッと理解をしていたような概念を根底からしっかりと学びました。このあたりから、最初に学んだInequalityやConcentrationがいかに機械学習の基盤として使われているのかが徐々に理解できるようになってきました。

そして、いわゆる私が想像していたような統計学のトピックに入っていきます。ここでは、統計学の検定について学びました。が、私が思っていた内容とは大きく異なっていました。元々はt-検定やカイ二乗検定のようなものを学ぶのかなと思っていましたが、上記で学んだPoint estimationにて求めたパラメータの推定値を評価するという目的に基づき、(私の想定とは異なる)様々なテストが紹介されました。また、それぞれのテストについても、ただ統計量を紹介するだけでなく、なぜそれがテストとして機能するのかの証明を全て含む形だったので、やはり応用的な統計の授業というよりは、より数学の理論的な統計の授業だったと思います。

最後に、これまで習ってきたことを応用して、いくつかの機械学習手法について学びました。それぞれの項目だけで、1セメスター分の授業を準備できるようなトピック群なので、ここに関しては細部まで学ぶというよりは、ざっくりと概要を知るというような印象でした。

ざっくりですが、このような内容の授業でした。全て終わってみると、確かに最初に学んだ項目が後半で学ぶ機械学習への応用の基盤になっており、一連の繋がりが見えるのですが、実際に学んでいる際にはそんな余裕もなく、全体像は見えないが、とにかく目の前の授業についていくだけで必死でした。それくらいに授業のペースはとんでもなく早く、大量の統計に関わる理論を数学的な観点から学んでいくという、とにかくとにかく難しい授業でした。ちなみに、スピードに関しては、授業を担当していたインド人の教授のチョークでの板書のスピードが異常に早く、彼と同じスピードで英語で板書を自分のノートにまとめるだけでも相当な技術を要求する程のスピード感の授業でした。(このあたりは英語を母国語としない分のハンデキャップも関係していると思います)

一週間どのくらいの時間を費やしたか

さて、このような授業だった訳ですが、私がどのように学んだのかについて少し触れたいと思います。上記で紹介したのはどのような内容が授業で紹介されるかなのですが、授業でカバーされた内容に基づき、ほぼ毎週宿題が出ました。この宿題もまた、とにかくとんでもなかったのです。

授業の内容は予習・復習をしっかりとすることで、なんとかざっくりと理解ができるのです。しかし、宿題で出される問題は、確かに授業の内容には基づいているものの、その内容を数段階も捻ったような、一筋縄ではいかない問題ばかりでした。一問を解くのに数時間は全然かかりますし、まだその程度で解くことができれば良い方で、どれだけ考えても自分だけでは正解に辿り着くことができないような問題も多々ありました。そんな宿題なので、毎週週末も含め、この宿題にずっと追われ続ける日々でした。

期限が近くなると、何人かの生徒で集まり、夜な夜な議論をしながら問題をなんとか解き進め、それでもわからない問題は先生や、ティーチングアシスタントとして参加している先輩学生に質問をしてなんとか進めるという形で、毎週恐らく20時間以上は宿題だけに費やしていたと思います。

この宿題だけがやること全てであれば、この程度の時間投資は問題ではないのです。しかし、授業の予習・復習もあります。また他の授業も履修していますし、博士学生として研究活動にも従事する必要があります。そんな中でのこの宿題の負担は非常に大きく、毎週宿題を提出し終わるとふーーーーっと大きく息をつくようなそんな日々でした。(一つ提出し終えても次の宿題がすぐに出されるのですが。。。)

授業を終えてみて：確かに見える世界が変わった

この授業は、私がニューヨーク大学でとった修士のどの授業よりも圧倒的に難しく、圧倒的に時間的な投資も必要とする授業でした。あまりにも大変で、履修を取りやめることを学期中何度も考えました。しかし、終わってみると、授業履修前と比べ、機械学習に関わる数式周りの視野が非常に明るくなったと感じています。この授業の中で扱われたトピックが直接的にということではないのですが、ひたすら数式に向き合う経験を通じて、他の機械学習分野で使われている数学においても、向き合い、理解するための基盤を作ることができたというような印象です。

言い換えると、この授業は、これから機械学習に関わる諸々を学んでいくためのトレーニングのような授業で、必要な筋力や体力を養っていくための授業であったと感じました。

これから先の履修授業がどの程度の難易度なのかまだわかりません。しかし、最初にこの統計の授業を履修した経験は、これからの学びの基盤として役立つという確信と共に授業を終えることができました。

ただ、本当に本当に難しい、モンスターな授業でしたということをお伝えして、今日は終わりたいと思います。