Neuromatch Academy体験記
先日参加した "Neuromatch Academy (NMA) Computational Neuroscience 2021" の体験記をまとめました。
参加を検討している方々の参考材料になれば幸いです。非常に刺激的なイベントだったので、初見の方々にも面白い記事になれば幸いです。
※ 個人のブログとして書いており、公式機関の査読は受けていないことをご了承ください。より正確な情報は、公式ページよりご確認ください。
Neuromatch Academy（NMA）とは
NMAは「計算論的神経科学と深層学習という分野の学習を目的としたオンラインのトレーニングプログラム」です。公式ページでは、活動の目的を以下のように説明しています。
Introduce traditional and emerging tools of computational neuroscience and deep learning with an emphasis on theory and model building.
NMAは、「Computational Neuroscience（計算論的神経科学、CN）」と「Deep Learning（深層学習、DL）」のコースに分かれています。CNは2020年に、DLは2021年に始まったコースで、それぞれ3週間ずつかけてCourseworkとProjectsを並行して進めていくカリキュラムになっています。また、片方だけのコースを受講することもでき、完全に独立したカリキュラムとなっています。
ただ注意する点として、2021年に関しては両方とも受講することができましたが、来年度以降は片方しかできない可能性があります。私は、両方とも応募したところ、片方しか原則受けられないので、どちらか選んでくださいと言われ、CNを選択しました。しかし、1週間後くらいにどちらも受けられるようになったと連絡がきました。おそらくTAの数や資金が十分に集まったことが確認でき、そのようにシステムが変わったのかもしれません。結局、私はその1週間の間に予定を入れてしまったため、CNのみを受講しました。
最後に、私は今回以下のような形でコースを受講しました。
・コース：Computational Neuroscience
・期間：2021/07/05~07/25 (3 weeks)
・タイムスロット：13:00~21:00（詳細は後述）
Coursework & Projects
上述した通り、NMAは大きく分けて、CourseworkとProjectsがあります。
1. Coursework / コースワーク
コースワークは「Google Colaboratoryというノートブックベースの材料を用いて、Pythonで学習を進めていくチュートリアル」です。配布されたノートブックには、動画とスライドのが載っており「理論（Theory）」のインプットをすることができます。インプットができたら、「モデリング（Model Building）」のコードを実際に書いていき、アウトプットをしていきます。コードの骨格は、ノートブック上に用意されており、重要な数式の部分を埋めていくような確認問題形式になっていました。個人的には、ビジュアライゼーションやコードリファクタリングなどのサイドワークの部分をする必要がなく、本質的な理論のコーディングの部分に集中できて、満足度は高かったです。
上記のような作業をPodsというグループのメンバーと担当TAと一緒にコミュニケーションを取りながら、進めていきました。私のPodsは6人いて、ZoomとDiscordがコミュニケーションツールとして使われました。ちなみに、このPodsはneuromatch algorithmsによって割り振られており、elifeというに学術雑誌にその詳細が説明されています。
今回、私のPodsを担当してくれたTAはCVPR（Conference on Computer Vision and Pattern Recognition）という情報系のトップカンファレンスの査読を担当した経験のある方で、非常に優秀な方でした。特に、コースワーク中に投げかけた質問に対して問いの意図を汲み取るのが非常にうまく、複雑な数学の質問に対してもとてもわかりやすく説明してくれた時にそう感じました。
私の感想としては、コースワークを通して「数学に対する抵抗感が非常に少なくなったこと」が収穫だったと感じました。NMAを受けるまでは、機械学習や古典統計の論文を読む際に、数式が多く羅列されており抵抗感を感じていました。今は、完全に理解できなくとも、読んでみようという姿勢になったため、非常にNMAに感謝しています。
最後に、今回のCNのコンテンツ内容は以下の通りです。
1. Model Types
2. Modeling Practice
3. Model Fitting
4. Generalized Linear Models
5. Dimensionality Reduction
6. Deep Learning
7. Linear Systems
8. Biological Neuron Models
9. Dynamic Networks
10. Bayesian Decisions
11. Hidden Dynamics
12. Optimal Control
13. Reinforcement Learning
14. Network Causality
ちなみに、DLのコンテンツ内容は以下の通りです。CNよりもより実践的な機械学習のカリキュラムとなっています。
1. Basics And Pytorch
2. Linear Deep Learning
3. Multi Layer Perceptrons
4. Optimization
5. Regularization
6. Convnets And Recurrent Neural Networks
7. Modern Convnets
8. Modern Recurrent Neural Networks
9. Attention And Transformers
10. Generative Models
11. Unsupervised And Self Supervised Learning
12. Basic Reinforcement Learning
13. Reinforcement Learning For Games
14. Continual Learning
2. Projects / プロジェクト
プロジェクトは「公開データセットを用いて、チームで研究をする実践形式のプロジェクト」です。公開データセットは、事前に選択肢が用意されており、チームで「どのデータセットを使って、どのような研究をするか？」について話し合うところから始まります。研究のテーマが決まったら、仮説とアプローチを決めて、役割分担をしてどんどんと進めていきます。具体的には、文献調査 / プログラミング / プレゼン資料作成が主な作業になります。
私のチームには学生が3人いて、TAとMentorが1人ずつ担当としてついてくれていました。学生のメンバーとは毎日、TAとMentorとは3日に1回くらいのペースでディスカッションをしていました。特に、私のチームの担当Mentorは、Nature Neuroscience / Neuron / Current Biology / Journal of Neuroscience / Scienceなどのトップジャーナルに研究を出しているような方で、非常に多くのことを教えていただきました。
このようなチーム内のディスカッションとは別で、中間要旨の提出（Abstract Submission）と中間プレゼンがあり、そこでは他のチームのTAやMentorから意見をもらうことができました。そして、最後の週に改めて最終要旨を提出し、最終日には他のチームの学生とTA/Mentorに対して最終プレゼンを発表し、イベントは幕を閉じました。
私の感想としては、プロジェクトを通して「グローバルな人たちと研究のディスカッションをする経験ができたこと」が収穫だったと感じました。はじめは「専門的な話題について、自分の意見とその根拠を、英語で、オンラインで、伝えること」は容易なことではありませんでした。しかし、毎日必要に駆られた3週間にもわたるコミュニケーションが、人の脳を可塑的に変えてくれることをよく実感することができました。
Diversity & Equity & Inclusion（多様性の尊重と公正と活用）
上記の内容を全て英語で進めていくと思うと非常にハードルが高く感じられるかもしれませんが、私がやり切ることができた背景には "Diversity & Equity & Inclusion (DEI)" があると考えています。NMAは、このDEIを非常に大切にしていることがイベントを通して伝わりました。受講するにあたって、多様性を尊重することに対する同意が取られたり、イベントの冒頭でもレクチャーがあったりしました。
私のプロジェクトチームの他のメンバーは2人ともインド人で、担当のTAとMentorはそれぞれイギリス人とアメリカ人でした。言語についてもカルチャーについても理解が曖昧なこともあり、苦労していましたが、みんな考える時間をくれたり、理解しようとする努力をしてくれたりしました。
NMAは100を超える国から、学生と講師が集まり学びと議論を行うコミュニティです。そのため、このようなカルチャーを浸透させる仕組みがあることが成功している要因の一つだと私は思いました。
3週間のスケジュール
ここからは実際に参加を検討している方々に向けて、参考になりそうな情報をまとめていきます。まずスケジュールについてですが、以下のようなタイムスロット（日本時間）が用意されており、自分の参加したいスロットを選ぶことができます。
SLOT1: 9:30~18:00
SLOT2: 13:00~21:00
SLOT3: 16:30~01:00
SLOT4: 23:00~7:00
SLOT5: 2:30~11:00
私は、午前中に大学院の研究やフリーランスの仕事をこなしたいこともあり、SLOT2を選択し、以下のようなスケジュールで過ごしました。
7:00：起床
7:00~8:00：朝の準備（筋トレや身支度など）
8:00~12:00：作業（研究 / 仕事）
12:00~13:00：昼食
13:00~16:00：Projects（プロジェクト）
16:30~21:00：Coursework（コースワーク）
21:00~22:00：夜の準備（入浴や歯磨きなど）
22:00~24:00：作業（研究 / 仕事）
24:00~7:00：就寝
※ 本来は毎日決まった時間にオンライン参加しなくてはいけないのですが、どうしても外せないMTGや仕事があった時は、TAとコミュニケーションを取り、例外的にその時間を休ませて頂いた時がありました。休んだ分は、他の時間を使って、一人で作業を進めました。
上記のスケジュール以外にもCrowdcastというツールを用いたオンライン上の交流会などもありました。この3週間は習慣をつけるいい機会になった上、非常に充実感があったため、正直そこまで苦しくはなかったです。
メリットとデメリット
続いて、参加したことに対するメリットとデメリットをまとめました。
1. メリット
1. モデリング / 機械学習がより詳しくなれた。
2. 数式に対する抵抗感がなくなった。
3. 神経科学 / 機械学習に関連する英語を自然と身につけることができた。
4. ハイレベルな研究者たちから専門的知識や思考法を聞くことができた。
5. 修了証をもらうことができた。
6. プチ留学のように、他国のカルチャーを触れられた。
2. デメリット
1. 3週間にわたって、時間的拘束があった。
2. 言語の壁に苦労する瞬間があった。
参加を検討している方々へ一言
1. 海外スロット（13~21時枠）
私は、海外スロット（SLOT2: 13:00~21:00）をおすすめします。日本のスタンダートタイム（SLOT1: 9:30~18:00）を体験していないため、そちらのご意見も参考にして欲しいですが、「海外の人（日本人以外の人）と交流を持ちたい方」や「午前中に研究や仕事などの朝活をしたい方」に関しては推奨します。一方で、友達や仕事の人との夜ご飯の用事がたくさんある方は、SLOT1の方がいいかもしれません。
余談ではありますが、SLOT2にすると中国やインドの方々と交流することができます。特に、私のPodsではインド人が多く、本当に数学力の高い方々ばかりでした。インド英語は聞き取るのに慣れが必要かもしれませんが、それも一つの学習の機会と捉えることができるかと思います。中国やインドの高い成長率や人口の多さを見ると、日本人が今後関わる機会も多いと予想されたため、私はこちらのSLOTを選択しました。
2. 最善のTPOの調整
当然なことではありますが、最善のTPO（Time / Place / Occasion）を選択しましょう。具体的には、ビデオとマイクをオンにできる場所で前後の時間もしっかりと余裕を持って確保することを推奨します。また、そこでの学習密度をより上げるために、他の締め切り物をその期間に設けないこともおすすめします。
3. 母国語での事前学習
最後に、母国語での事前学習を行うことを推奨します。NMAの教材は非常に充実していますが、3週間で吸収するにはとても時間がかかります。そのため、本当に重要な部分だけ事前に母国語で学んでおくと、非常にスムーズかと思います。私はここを少し怠ってしまったため、NMAの期間中に置いていかれそうになった瞬間がありました。
最後に
最後まで読んでくださり、ありがとうございます！何かしらの形で皆さんの糧となれば、幸いです。どれくらいの人が興味 / 関心を持っているかがわかるため、「スキ」もしてくれると嬉しいです✨
また、もしも本当に参加する意思があり、相談したいことや不安なことがありましたら、Twitter（@umi_mori_jp）にご連絡いただければ可能な範囲でサポート致しますm(_ _)m
参考文献 / 関連リンク情報
この記事が気に入ったらサポートをしてみませんか？