Akira's ML news #Week 45, 2020

今週の注目記事/論文

- 大規模なネットワークには冗長な構造があることを発見
- 中間層の活性化画像は良い説明になるのか
- 専門家が設計したデータ拡張の代わりに敵対的摂動で対照学習を行う

2020年第45週(11/1~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます

過去の記事

Week 44の記事 ⇦ Week 45の記事(コレ)⇨ Week 46の記事
2020年9月のまとめ
2020年10月のまとめ

内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題

---------------------------------------------------------------------

1. 論文

----------

GANで生成しないデータを選択する

Teaching a GAN What Not to Learn
https://arxiv.org/abs/2010.15639

GANのDiscriminatorに真偽ではなく「避けるべき真のデータ」「真」「偽」を判定させることにより、意図的に生成するデータを調整するRumi-GANを提案。ACGAN等と比較し、データが不均衡なサンプルにおいて特定のクラスのデータを上手く生成できる。

専門家が設計したデータ拡張の代わりに敵対的摂動を利用して対照学習を行う

VIEWMAKER NETWORKS: LEARNING VIEWS FOR UNSUPERVISED REPRESENTATION LEARNING
https://arxiv.org/abs/2010.07432

対照学習ではデータ拡張に対して不変になるように表現を学習するが、データ拡張手法は専門家が選んでいた。それの代わりに敵対的摂動を画像に載せるveiw makerを提案。ドメインに関係なく適用でき、音声やウェアラブルデバイスの時系列データで大きな改善。

大規模なネットワークには冗長な構造があることを発見

DO WIDE AND DEEP NETWORKS LEARN THE SAME THINGS? UNCOVERING HOW NEURAL NETWORKREPRESENTATIONS VARY WITH WIDTH AND DEPTH
https://arxiv.org/abs/2010.15327

深いまたは幅広いネットワークは、複数の層において似た表現を学習している(block構造と呼ぶ)ことを発見。これは層表現の主成分に対応しており、ネットワーク固有の表現となっている。これらを使って精度への影響を極力抑えた枝刈りが可能である。また、幅広いモデルはシーン判別に強く、深いモデルは消費財判別に強いという傾向があった。

中間層の活性化画像は良い説明になるのか

EXEMPLARY NATURAL IMAGES EXPLAIN CNN ACTIVATIONS BETTER THAN FEATURE VISUALIZATIONS
https://arxiv.org/abs/2010.12606

中間層の活性化画像(Deep Dreamみたいなもの)がどれだけ説明性になるのかを調査した研究。活性化画像か自然な画像を参照画像として与えられ、2つのクエリ画像のどちらが活性するかを選択する心理学実験を実施した。活性化画像は一定の説明性にはなるが、自然画像の方が情報量が多い、という結果。

ハミルトニアンを簡単にすることで複雑な系の予測精度を高める

Improving the accuracy of predicting complex systems by simplifying the Hamiltonian Simplifying Hamiltonian and Lagrangian Neural Networks via Explicit Constraints
https://arxiv.org/abs/2010.13581

一般化座標を用いると制約条件が含まれる代わりにハミルトニアンが複雑になってしまうが、デカルト座標に埋め込んだ制約付きハミルトニアンを使うことで数式を単純化でき学習を容易にする。複雑な系であるN重振り子、ジャイロスコープで精度/データ効率が劇的に向上した。

---------------------------------------------------------------------

2.技術的な記事等

----------

病気のAI診断は上手くいっているのか

一般の画像と比較して医療画像はデータ量、解像度などの問題を抱えている。眼底スキャンは皮膚は画像が小さいmた比較的上手くいくが、データが少なくノイズが多いMRIではまだ課題を抱えており、まだ人間の代替にはならないとのこと。

Why Skin Lesions are Peanuts and Brain Tumors Harder Nuts

---------------------------------------------------------------------

3. 実社会における機械学習適用例

----------

スマホとAIでCovid-19の無症状患者の特定をする。

携帯電話の咳の音声情報を使って、Covid-19の無症状患者を特定する取り組み。アルツハイマー患者とCovid-19の咳に類似性があり、アルツハイマーを特定するモデルをもとにして、無症状患者の咳を特定することができた

Artificial intelligence model detects asymptomatic Covid-19 infections through cellphone-recorded coughs

GPT-3はまだヘルスケア現場で使えるレベルにない

GPT-3を使ったチャットボットが、実際にヘルスケア現場で使えそうかを検証した記事（もちろんOpen-AIはヘルスケア現場への適用を推奨していない）。診断結果を誤るだけでなく。予約をとるための簡単な論理的思考が欠如しており、まだ医療現場で使えるレベルにはない。

Doctor GPT-3: hype or reality? - Nabla

---------------------------------------------------------------------

4. その他話題

----------

A100GPUを使ったインスタンスが使用可能に

アマゾンがAWS上でA100GPUを使えるP4dインスタンスの一般利用を開始。米国リージョンで11/2から利用できる。

---------------------------------------------------------

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。

過去の記事
Week 44の記事 ⇦ Week 45の記事(コレ)⇨ Week 46の記事
2020年9月のまとめ
2020年10月のまとめ