NeurIPS 4日目

今朝は朝食を食べることができました。シニアの方から、N年前からNIPSは元気な論文も多い（ので気を落とさずに投稿し続けよう）ということを言われました。実際、今年も見ていて賑やかな論文が多くて、査読は難しいのだな、という気持ちを新たにしました。

本会議はこれで最終日です。さすがにみんな疲れ切っていた気がします。

Competitive Gradient DescentはGANsなどの勾配降下法が片方の変数に対するlinearな近似しかしていないので、bilinearにして最適化をしよう、という主張で分かりやすかった。L_DMI: A Novel Information-theoretic Loss Function for Training Deep Nets Robust to Label Noiseはラベルと予測の相互情報量らしきものの最大化によってラベルが不確実な状態でもうまく学習できる、という主張だったがよく分からなかった。PyTorch: An Imperative Style, High-Performance Deep Learning Library はとても便利そう。ObjectNet: A large-scale bias-controlled dataset for pushing the limits of object recognition modelsはImageNetに代わる、より「実用的な」データセットの提案なのだけれど、そういうことだっけ、という感じは否めなかった。Large Memory Layers with Product KeysはLampleさんが発表していて感激してしまった。知見が多かったので応用していきたい。Compiler Auto-Vectorization with Imitation Learningはimitation learningでコードのベクター化を可能にする研究で、実用性が高そうだった。Deep Leakage from Gradientsはニューラルネットワークの学習データを勾配情報から復元する手法で、分散学習のノードが信頼できない場合を想定していて面白かった。Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss はインバランスなデータから学習する際に、マージンをデータサイズに比例するように取る手法で、重み付けなどのナイーブな手法よりも良い。Putting An End to End-to-End: Gradient-Isolated Learning of Representationsはニューラルネットワークを部分ごとに非同期に学習可能にする話。InfoNCEによって入力と出力の相互情報量を最大化するのが重要で、教師なし学習なので入力を保存するような学習で問題ない、という説明だった。

後で読むリスト

Adversarial Robustness through Local Linearization, Are Labels Required for Improving Adversarial Robustness?, Hyperparameter Learning via Distributional Transfer, Paradoxes in Fair Machine Learning, Preventing Gradient Attenuation in Lipschitz Constrained Convolutional Networks, Cross-channel Communication Networks, Random deep neural networks are biased towards simple functions, Deep Scale-spaces: Equivariance Over Scale, SGD on Neural Networks Learns Functions of Increasing Complexity, Compositional generalization through meta sequence-to-sequence learning, Modular Universal Reparameterization: Deep Multi-task Learning Across Diverse Domains, Learning elementary structures for 3D shape generation and matching, Transfer Learning via Minimizing the Performance Gap Between Domains, A Primal Dual Formulation For Deep Learning With Constraints, DRUM: End-To-End Differentiable Rule Mining On Knowledge Graphs, How to Initialize your Network? Robust Initialization for WeightNorm & ResNets, Breaking the Glass Ceiling for Embedding-Based Classifiers for Large Output Spaces, End to end learning and optimization on graphs, Episodic Memory in Lifelong Language Learning, Embedding Symbolic Knowledge into Deep Networks, Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain), Domain Generalization via Model-Agnostic Learning of Semantic Features, Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty, Wasserstein Dependency Measure for Representation Learning,