Akira's ML news #Week 50, 2020
今週の注目記事/論文
- 医者と深層学習モデル診断の違い
- 人間と機械学習の推薦を比較
- ニューラルネットワークのニューロンの役割の研究
---------------------------------------------------------------------
2020年第50週(12/6~)に私が読んだ論文や記事で特に面白かったものを紹介します。なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます
過去の記事
Week 49の記事 ⇦ Week 50の記事(コレ)⇨ Week 51の記事(未執筆)
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
内容 :
1. 論文, 2.技術的な記事, 3.実社会における機械学習適用例, 4.その他話題
---------------------------------------------------------------------
1.論文
----------
ネットワークの一部を切り出す正則化
GradAug: A New Regularization Method for Deep Neural Networks
https://arxiv.org/abs/2006.07989
ネットワークから重みの一部を切り出したサブネットワークを用意し、データ拡張をかけた画像のサブネットワーク出力と、元のネットワークの出力が一致するような制約をかけるGradAugを提案。分類と物体検知で精度が向上するだけでなく、敵対的摂動にも頑健。
最適なバッチサイズの研究
Measuring the Effects of Data Parallelism on Neural Network Training
https://arxiv.org/abs/1811.03600
バッチサイズと精度、モデルサイズ、データセットの関係を調べた研究。
いくつかのモデルは大きなバッチサイズにすると精度が上がる、最適な学習率はバッチサイズに対して線形には増加しない、モメンタム系は通常のSGDより大きなバッチサイズだと精度が向上する、などの結果。
出力が一意に決まらないことを利用した機構で16倍の高解像度に成功
Generating Unobserved Alternatives
https://arxiv.org/abs/2011.01926
生成モデルのように入力に対する出力が一意に決まらない問題に対して、複数のランダムなコードと入力を使って生成したものから、最も正解に近いものを選んで学習させるというImplicit Maximum Likelihood Estimation(IMLE)を提案。敵対的損失を使わないため学習が安定しており、モード崩壊を防ぐことができる。16倍の高解像度化に成功。
畳み込み層を用いない生成モデル
Image Generators with Conditionally-Independent Pixel Synthesis
https://arxiv.org/abs/2011.13775
畳み込み層を用いない生成モデルCIPSを提案。座標のフーリエ変換等で位置情報を付与するPositinal Encodingと、StyleGANのような潜在変数を非線形変換して各層に埋め込む機構をもっている。
地震早期警戒システムを機械学習で
A Distributed Multi-Sensor Machine Learning Approach to Earthquake EarlyWarning
https://www.unavco.org/projects/major-projects/earthcube/geosciframework/Fauvel_etal_AAAI2020_Distributed_Multi-Sensor_Machine_Learning_Approach_to_Earthquake_Early_Warning.pdf
地震早期警戒システムにおいて(EEW)、2つのセンサーを用いた従来手法は得意不得意があった。それらを地震規模の分類問題と定義し、kNNを用いたモデルを構築することで、大地震に対する予測性能を大幅に向上した。
医者と深層学習モデル診断の違い
differences between doctor and deep learning model diagnosis.
Differences between human and machine perception in medical diagnosis
https://arxiv.org/abs/2011.14036
医者と深層学習モデル診断の違いの研究。深層学習は画像の高周波成分に依存しており、タスクによってはLow-pass fileterを通すと医者よりも有意に精度が劣化した。さらに評価方法に医療的な知識を組み込まないとシンプソンのパラドクスにより、正しく性能を評価できないことを検証した。
通常の背景を使いながら人物切り出しをリアルタイムで実施
Real-time cropping of a person while using a normal background
Is a Green Screen Really Necessary for Real-Time Portrait Matting?
https://arxiv.org/abs/2011.11961
切り出しによく使われる青や緑の背景でなく、通常の背景をもつ人画像の切り出しをリアルタイムで実施する研究。予測教師ありで学習させた後に、低/高解像度のそれぞれのマスク予測、境界線予測の3つの一貫性をラベルなしデータで自己教師ありが学習でモデルを調整する戦略をとる。
---------------------------------------------------------------------
2.技術的な記事
----------
ニューラルネットワークのニューロンの役割の研究
学習済みのネットワーク(ImageNet学習済InceptionV1)で、ニューロンが検出するパラーンが対称性→不変性に変化する例を紹介した記事。あるパターンを検出するニューロンのうち、そのパターンが回転などの変換を加えると等価になるグループが存在する。それら複数のニューロンと重み行列が組みわさって、その回転などの操作に対して不変性をもつニューロンが次の層で出来る例を紹介している。回転不変性だけでなく、色やスケールに対しても同じような現象が観察できたとのこと。
---------------------------------------------------------------------
3.実社会における機械学習適用例
----------
深層強化学習で気球を長期間滞空させる。
Alphabetnの子会社であるLoonは深層強化学習で制御するコントローラーを搭載した、基地局の役割を果たす気球を312日対滞空させることに成功した。従前のコントローラーを用いたものは223日の滞空なので、大きく記録を伸ばしている。遠隔地にいる何万人もの人々にインターネットを提供することができる。
人間と機械学習の推薦を比較
人間と機械学習の推薦を比較した記事。コートの通気性やコンピュータなど実用性を伴う推薦の場合は人よりも機械学習が優れており、ワイン、香り、コートの生地など感覚的な体験や商品を推薦する場合は人の方が優れいているという結果。これらの特性を知っておくと実活用の際に上手く使い分けをすることができる。
---------------------------------------------------------------------
4.その他話題
----------
Uberが自動運転の部門を売却
Uberのが、自身の自動運転車の研究ユニットであるAdvanced TechnologiesGroupを自動運転のスタートアップAuroraに売却した。中核事業である配車サービスと食品配送に再び注力するようだ。
---------------------------------------------------------------------
☆☆ 宣伝 ☆☆
今年もNeurIPS2020の読み会をやります！
招待講演として早稲田外学の森島先生と、同じく早稲田大学の尾形先生にご登壇いただきますので、是非ご参加ください！
---------------------------------------------------------------------
過去の記事
Week 49の記事 ⇦ Week 50の記事(コレ)⇨ Week 51の記事(未執筆)
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。
ここから先は
Akira's ML news & 論文解説
※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…
記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。