Akira's ML news #Week 46, 2020

akiraTOSEI

2020年11月14日 23:07

今週の注目記事/論文

- 解の不定性が、実運用時の性能劣化を生んでいる
- ODEを使ってGANを安定させる
- 著作権/差別的要素のない画像データセットで事前学習させる

2020年第46週(11/8~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます

過去の記事
Week 45の記事 ⇦ Week 46の記事(コレ)⇨ Week 47の記事
 2020年9月のまとめ
 2020年10月のまとめ

内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題

---------------------------------------------------------------------

1. 論文

----------

中間層の表現を離散化することでGANを安定化させる

Feature Quantization Improves GAN Training
https://arxiv.org/abs/2004.02088v2

Discriminator中間層出力の特徴量マップを、動的な辞書に保存してある特徴量の中で最近傍のものと入れ替え離散化させることで、GANを高性能化する研究。既存のGANの枠組みに簡単に取り入れることができ、計算量が少し増加するが性能を向上させることができる。

解の不定性が、実運用時の性能劣化を生んでいる

Underspecification Presents Challenges for Credibility in Modern Machine Learning
https://arxiv.org/abs/2011.03395

MLモデルを実運用すると性能が劣化する問題において、同じ予測性能を示すモデルパラメータが複数存在するUnderspecificationが関わっていることを示した。このUnderspecificationはNLP、医療画像、コンピュータビジョンなどあらゆる分野に現れており、これらを考慮したテストを実施する必要がある。

ドメインを跨いだ最近傍パッチが同じクラスになるような制約をかけてドメイン適応をする

Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation
https://arxiv.org/abs/2011.00147

領域分割タスクにおいて、ランダム抽出したsourceパッチ→その最近傍targetパッチ→その最近傍sourceパッチのラベルが同じものになるように制約をかけることで、ドメイン適応を行う研究。先行研究を大きく超える結果。

心拍情報でDeep Fakeを見破る

DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms
https://arxiv.org/abs/2006.07634

心拍による皮膚の色変化を検知することでDeep Fakeを検知する研究。現状の生成モデルはリアルな動画を作れるが、血液による肌の色の微妙な変化のリズムを再現できないことを利用する。

ODEを使ってGANを安定させる

Training Generative Adversarial Networks by Solving Ordinary Differential Equations
https://arxiv.org/abs/2010.15040

GANの訓練における不安定性が連続時間ダイナミクスを離散化する際の積分誤差に起因していると考え、ODEソルバー（Runge-Kutta等）と積分誤差を制御する正則化器と組み合わせることでGAN学習を安定化させた。SpectralNorm等がなくても学習が安定し、優れた結果を出した。

フレーム毎の画像処理に一貫性を持たせる。

Blind Video Temporal Consistency via Deep Video Prior
https://arxiv.org/abs/2010.11838

フレーム毎に画像処理すると一貫性のない動画が作成される問題に対して、シンプルに画像処理をCNNで学習させる手法を提案。先行研究では一貫性を持たせる正則化と大量のデータでその修正を行なっていたが、それらが不要になる。一見なぜ上手くいくのかわからなくなるが、映像のチラつきをノイズと考え、ノイズがない事前分布（動画のメインの部分）は学習済みネットワークでノイズより先に再現されるので、結果としてチラつきがなくなるとのこと。

重みを並び替えることでネットワーク圧縮性能を向上

Permute, Quantize, and Fine-tune: Efficient Compression of Neural Network
https://arxiv.org/abs/2010.15703

重みを圧縮しやすいように並び替えることで量子化をする研究。並び替えた重みをブロックに分割し、それらを直接使わずに予め保持していたベクトルの組みから最近傍のもので代替させる。精度を保ったままResNet50を1/31に圧縮できる。

---------------------------------------------------------------------

2.技術的な記事等

----------

コンピュータビジョン注目研究2020

2020年に発表されたコンピュータビジョン系の論文で重要度が高そうなものを10本ピックアップし、概要や技術の肝、機械学習コミュニティの反応、ビジネスへの活用などの観点でまとめられている

---------------------------------------------------------------------

3. 実社会における機械学習適用例

----------

建築現場の細かな進捗をAIで管理する

英国-イスラエルのスタートアップ企業であるBuildots(https://buildots.com/)は、頭に取り付けた360°カメラから約150,000個の部品がどの状態にあるのか（取付済みなど３〜４段階）を監視できる。すでに小規模な建築現場で導入されており、人間の管理者が確認作業など単調な仕事ではなく、より重要な仕事に注力できるようになると期待されてる

医療AIの使用料を米国政府が補助

アメリカ厚生省に属する組織であるCMSが、失明の原因となる糖尿病の合併症を診断するシステム、脳スキャンで患者が脳卒中の警告を出すシステム、の2つの使用量を負担すると発表。医療分野でのAIの使用をより広く推進するのに役立つ可能性がある。

小さな地震を機械学習で検知する

センサーのデータから小さな地震を検知することは専門家が数ヶ月かけて行う作業だが、機械学習を用いることでそれが20分で可能になる。このような小さな地震を解析することで断層の３次元構造を知ることができ、大地震への対策へと繋がる。

---------------------------------------------------------------------

4.その他話題

----------

著作権/差別的要素のない画像データセットで事前学習させる

自然界に頻出するフラクタル構造を使ったデータセットを作る取り組み。Web上の大規模なデータセットは著作権や肖像権の問題を抱えていることがある。そのような自然画像の代わりに、自然界に頻出するフラクタル構造でデータセットを構成し、それを使って事前学習をすることでそれらの問題を回避しつつ重要な構造を学習させることができる。

---------------------------------------------------------

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。

過去の記事
Week 45の記事 ⇦ Week 46の記事(コレ)⇨ Week 47の記事
 2020年9月のまとめ
 2020年10月のまとめ