NeurIPS 5日目

今日から2日間はワークショップで、個別のテーマに分かれています。今日は25件ほどワークショップがあり、適当に渡り歩く感じでした。私は概ねInformation Theory and Machine Learningにいて、ときどきMeta-LearningやOptimal Transport for Machine Learning、Learning with Rich Experience: Integration of Learning Paradigmsなど気になったものを見にいきました。例によってhttps://slideslive.com/neurips/から動画が見ることができます。

Information Theory and Machine LearningではTask2Vecや
Life-Long Disentangled Representation Learning with Cross-Domain Latent HomologiesのAlessandro Achilleさんが出てきて、自分の研究を紹介していました（スライド）。Critical Learning Periods in Deep Neural NetworksもAlessandroさんの研究で、色々しっかりした研究をしていてすごいです。Aäron van den OordさんはContrastive Predictive Codingを使ったself-supervised learningでsupervised learningを超えた話をしていました。基本的には相互情報量を最大化するアプローチです。その次のDeep Variational Information BottleneckなどのAlexander Alemiさんは情報を圧縮するような、つまり相互情報量を抑えるようなアプローチをとっていて対照的でした。

メタ学習ワークショップでは変化点検知を用いることで、陽にはメタ学習データを用いないContinuous Meta-Learning without Tasksが面白かったです。継続学習などの文脈でも語れそうです。メタ学習というとディープラーニングと一緒に使う印象があったのですが、ESやXGBoostなどを使う話もありました。