Akira's ML news #Week 42, 2020

※有料設定してますが、投げ銭用なので全部無料でみれます
2020年第41週(10/11~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。

過去の記事

Week 41の記事 ⇦ Week 42の記事(コレ)⇨ Week 43の記事
2020年9月のまとめ

　

内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題

---------------------------------------------------------------------

1. 論文

----------

少数カテゴリも生成できるGAN

Inclusive GAN: Improving Data and Minority Coverage in Generative Models

https://arxiv.org/abs/2004.03355
GANはメジャーなカテゴリばかりを生成しやすい。そのため、マイナーなカテゴリに対応する潜在変数をサンプリングした後にその潜在変数においてGeneratorが上手く画像を生成するような制約をかけることで、マイナーなサンプル生成に対応させるInclusive GANを提案。

宝くじ仮説 in GAN

GANS CAN PLAY LOTTERY TICKETS TOO

https://openreview.net/forum?id=1AoMhc_9jER
GANにおいて宝くじ仮説が適用できるかを調べた研究。GANにも宝くじサブネットワークが存在し、精度を保ったまま圧縮できた。また、Generatorと同時にDiscriminatorを圧縮する要否はあまりなかった一方、Discriminatorの初期値は重要であることがわかった。応用上の観点からGeneratorの圧縮は試みられてきたが、Discriminatornの圧縮は試みられてなかったで、それを試したのが貢献。

自己教師あり学習を用いたドメイン適応

Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation

https://arxiv.org/abs/2007.02054
学習と異なるドメインで推論をする際に、推論前に予測対象ドメインにおいて自己教師あり学習を行うことでドメイン適応を行う研究。予測３Dポーズの敵対的学習と3D⇆2Dのポーズ変換によるcycle consistencyの2つを使い、異なるドメインに対してパラメータを更新する。

医療のルーチンワークで得られるデータを使って表現学習

CONTRASTIVE LEARNING OF MEDICAL VISUAL REPRESENTATIONS FROM PAIRED IMAGES AND TEXT

https://arxiv.org/abs/2010.00747
医療業務で日常的に作られる比医療画像とテキストのペアデータにおいて対照学習で表現学習を行う研究。ペアのテキストと画像の距離を近づけるように表現学習を行う。ImageNet学習済みモデルより有用な表現を得ることができ、画像検索等で大きく精度を上げることができた。

なぜ宝くじ初期値を使わないと疎なネットワークの学習は失敗するのか

Gradient Flow in Sparse Neural Networks and How Lottery Tickets Win
https://arxiv.org/abs/2010.03533

疎なNNにおいて、宝くじ初期値とランダム初期値の精度の差分がどこから来るかを検証した研究。ランダムに初期化された疎なネットワークは勾配流の悪化(勾配の値が小さく消失しやすい）ため密なネットワークより精度が悪い。宝くじ初期値は勾配流を改善しないが、枝刈ネットワークのバイアスがかかっているため上手く学習できる。動的に疎なネットワークを学習できるRigL等は勾配流を改善できるため、ランダム初期値から良い精度を出すことができる。

---------------------------------------------------------------------

2. 技術的な記事等

----------

クレジットスコアリングの実運用

クレジットスコアリング(金を貸して返済できるかを数値する技術)に関して、どうやるかを議論したスレッド。差別的なことを含むため性別や年齢は含ませないこと、モデルが本番環境に移るとそれ以降のデータにバイアスが入るのでそれにどう対処するか、などが議論されている。

How to evaluate a credit score model in production? Wouldn't the impact of the credit score model ruin the training of the future credit score model?

教師あり学習の観点から強化学習を見てみる

強化学習を教師あり学習の観点で解釈した記事。RLは、ポリシーとデータの両方に対する共同最適化問題と解釈でき、この教師あり学習から見た観点から見ると、多くのRLアルゴリズムは、適切なデータを見つけることと、そのデータに対して教師あり学習を行うことを交互に行うものと見なすことができる、と述べている。

Reinforcement learning is supervised learning on optimized data

---------------------------------------------------------------------

3. 実社会における機械学習適用例

----------

優秀な弁護士がAIに敗北

秘密保持契約の欠陥を見つけるタスクでトップの弁護士を上回り、通常の弁護士が92分かかる秘密保持契約の審査をAIは26秒で審査できる。弁護士からの反応は肯定的で、より複雑なプロジェクトに弁護士が集中できるなどのメリットを上げている。

The Pandemic is Replacing Lawyers with Robots Faster Than Ever - Best of Legal Tech

医療現場へ機械学習ツール導入した際の試行錯誤

医療現場に機械学習ツールを導入するために色々な試行錯誤をしたという記事。機械学習で自動診断システムを開発しても、通常業務のワークフローを混乱させるようなことをすると、かえって大変になり、それらを加味したうえでシステムを開発することが大事だと述べている。

AI Can Help Patients窶巴ut Only If Doctors Understand It

---------------------------------------------------------------------

4. その他話題

----------

2020年の人工知能発展のレポート

177ページにわたる大規模な報告資料。研究の動向や人材の所在、倫理への問題、軍事利用への拡大、来年の動向予測など幅広いテーマでまとめられている。研究に関しては巨大データセット/巨大モデルが精度を牽引、生物学でAIを用いた論文が増加、PytorchがTensorflowに追いつきつつある、など

NVIDIAのGANのGitHubレポジトリ 

SPADE, pix2pix, vid2vidなどNVIDIAの研究のコードが公開された。ただし商用利用は不可。

NVlabs/imaginaire

---------------------------------------------------------

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。

Week 41の記事 ⇦ Week 42の記事(コレ)