Akira's ML news #Week 40, 2020

※有料設定してますが、投げ銭用なので全部無料でみれます
2020年第40週(9/27~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。

内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題

---------------------------------------------------------------------

論文

誤差逆伝播に代わるパラメータ更新方法

Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures

https://arxiv.org/abs/2006.12878
誤差逆伝播と異なり、パラメータ更新を並列化することができるDirect Feedback Alignmentを様々なタスクで実験した研究。Transformerモデル、Graph Conv、推薦などのタスクで実験し、それなりの結果がでることを確認した

------------------

DARTSの精度低下要因を特定し、改善

Theory-Inspired Path-Regularized Differential Network Architecture Search

https://arxiv.org/abs/2006.16537
Neural Architecture Searchの1つであるDARTSでは、skip connectionばかり選択することで精度が低下することがよくあったが、それの収束速度がConvなど他の要素より収束が早いからだと理論的に証明。さらに、それにペナルティをかけるPR-DARTSを提案し、精度が改善することを確認した。

------------------

データの偏りや難易度に対するカリキュラム学習

EGDCL: An Adaptive Curriculum Learning Framework for Unbiased Glaucoma Diagnosis

https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/3685_ECCV_2020_paper.php
緑内障のデータは、難しいサンプルの存在やデータの偏りがあって難しいタスクであった。それを、サンプルの難易度やラベルのレア度、特徴量マップの重要度を生成するネットワークを介して学習するカリキュラム学習EGDCLを提案。先行研究を超える結果。

------------------

物理制約をモデルに取り込むことで物理シミュレーションの精度向上

Kohn-Sham equations as regularizer : building prior knowledge into machine-learned physics

https://arxiv.org/abs/2009.08551
密度汎関数理論を用いた物理シミュレーションをニューラルネットワークで近似する問題において、Kohn-Sham方程式を微分可能なモデルとして扱うことにより、物理的な制約をMLモデルに課すことができる。それにより交換相互作用項計算の精度を大きく向上させることができた。

------------------

テクスチャではなく形状をもとに画像分類をさせる

The Origins and Prevalence of Texture Bias in Convolutional Neural Networks

https://arxiv.org/abs/1911.09071
ImageNetで学習させたCNNモデルは物体の形状よりもテクスチャに依存して分類していることが知られていたが、データ拡張方法によって形状起因の分類ができるようになることを示した。random cropはテクスチャ依存を強める方向にあるが、ガウシアンノイズ、色変化、blurなどはを使えば形状起因の分類になる。

-----------------

Train/Testで分布が異なるタスクへの対策

Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber

https://arxiv.org/abs/2004.03045
Trainとtestのデータ分布が異なるタスクに対して、train/testを見分ける分類器を訓練しスコアがランダムになるまで分類器の重要な特徴量を削除することで、分布を一致させるAdversarial Feature Selectionで対応した。validationをtestに近いデータを使うよりも良好な結果。

---------------------------------------------------------------------

技術的な記事等

説明性付与は役立つのか

機械学習の説明性付与は実際役にたっているのか、を論じた資料。現状、効果は限定的なもよう。例えば、クラスの確信度を提示することでユーザーはそのモデルを信頼するようになる。しかし、ユーザーの予測精度向上目的で、モデル出力を同時に提示すると、ユーザーの予測がモデル予測に引っ張られるようになり、予測精度向上にはならなかった、など。

-----------------

GANs for Good

Andrew Ng先生が立ち上げたdeeplearning.ai主宰のGANに関するパネルディスカッション。Goodfellow先生をはじめとして壮々たるメンバーが参加している。GANの活用方法が主な議題で、3Dオブジェクトに周囲の反射像をつける、差し歯をGANで作る、どうやって最新の研究についていくのか、など。
個人的には「GANで直接データ拡張をすると上手くいかないが、簡易的に作った偽データを本物っぽく変換することでデータを増やす」という知見は非常に興味深かった。

---------------------------------------------------------------------

実社会における機械学習の適用例

AIがエースパイロットを打ち負かす

米国国防高等研究計画局（DARPA）が主催するシミュレーション上のドッグファイト(戦闘機同士が互いに機関銃・機関砲または短射程空対空ミサイルの射界に相手を捉えるために機動しながら行う空中戦闘)のコンテストで、深層強化学習を使ったAIが人間のエースパイロットを打ち負かした。今のところ、パイロットなしの戦闘機の運用を考えていないようだが、完全自動化になった場合、倫理面の問題や戦争の規則にキチンと従わせることができるかが問題になってくる。

AI Beats Human Pilot In DARPA Dogfight

---------------------------------------------------------------------

その他話題

GPT-3とAIの民主化

GPT-3が”AIの民主化”に悪影響を与えるのではないかという懸念を記述したい記事。GPT-3はモデルが非常に大きいので、おそらく他の機関がGPT-3を複製することは難しく、事実上の独占状態にある。OpenAIは悪意ある人々の利用に対してどうするのか、使用制限を課す場合その線引きはどうするのか、価格設定によっては一部の人しかアクセスできなくなる、などの問題が議論されている。

AI Democratization in the Era of GPT-3

------------------

Deep Learningと物理学の講義

物理学とDeep Learningに関するオンライン講義「ディープラーニングと物理学」。無料で誰でも登録できる。過去の講義は「強化学習を用いたボース・アインシュタイン凝縮体の制御」など。物理学などの自然科学分野で機械学習を活用した事例も増えているので、興味ある人は是非！

Deep learning and Physics 2020

------------------

GAN専門の講義

Andrew Ng先生が立ち上げたdeeplearning.aiによるGAN専門の講座がCourseraに登場。GANの評価方法やStyleGANに関する講義など、研究者/エンジニアにかかわらず、GANを使う人たちには非常に有用な内容になっている。

Generative Adversarial Networks (GANs)

---------------------------------------------------------

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。