NeurIPS 3日目

朝食に誘われたので5時に起きて待機していたところ、先方が寝坊するという予想通りの結果となりました。おかげで2週間くらい悩んでいたバグが取れました。

Model Similarity Mitigates Test Set Overuseはテストセットでチューンされて進化したはずのCNNが汎化する原因をモデル同士の類似度においた。Unlabeled Data Improves Adversarial Robustnessは学習済みモデルで大量のラベルなしデータに擬似ラベルをつけ、再度学習を行うことで敵対的な攻撃への耐性が上がることを示した。Stand-Alone Self-Attention in Vision ModelsはResNetの畳み込み層を全てself-attentionに置き換えて軽量で高精度なモデルを作った。Riemannian batch normalization for SPD neural networksは時系列のcovariance matrixをうまく処理するネットワークをつくるためにBatchNorm相当のものを提案。

Yoshua Bengio先生は現在の直感ベースのシステム1のDLから、思考のできるシステム2のDLへの移行に向けた研究への取り組みを紹介していた。システム1・2はカーネマンのファスト・スローから。意識や相互情報量、attentionが重要になるらしく、Bengio先生周辺の相互情報量系の論文はそのための布石なのか、という印象。また、Honorable Mention Outstanding Paper AwardのFast and Accurate Least-Mean-Squares Solvers最小二乗法の高速化論文の発表はとてもうま くて分かった気になれたのでよかった。

Adaptive Cross-Modal Few-shot Learningは画像のfewshot分類問題にGloVeの単語ベクトルを導入することで、fewが小さい時に対応している。Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulationはタスク分布が複雑な場合のMAMLを、初期化用のネットワークを導入することで解決している話。Detecting Overfitting via Adversarial Examplesはテストセットへの過学習しているかを判定するために敵対的攻撃を用いる。Differentiable Convex Optimization Layersは微分可能な凸最適化をニューラルネットワークの要素とすることを提案。

話はあまり聞けなかったシリーズ

　Fixing Implicit Derivatives: Trust-Region Based Learning of Continuous Energy Functions, Generalized Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse Block-Diagonal Structure Pursuit: Learning Soft Latent Task Assignment against Negative Transfer, Graph Agreement Models for Semi-Supervised Learning, DISN: Deep Implicit Surface Network for High-quality Single-view 3D Reconstruction, The Functional Neural Process, Zero-Shot Semantic Segmentation, Discrete Flows: Invertible Generative Models of Discrete Data, Quantum Wasserstein Generative Adversarial Networks, On the Ineffectiveness of Variance Reduced Optimization for Deep Learning, Fast and Flexible Multi-Task Classification using Conditional Neural Adaptive Processes, Gradient based sample selection for online continual learning, Online Normalization for Training Neural Networks, Copulas as High-Dimensional Generative Models: Vine Copula Autoencoders, Hamiltonian descent for composite objectives, Continual Unsupervised Representation Learning