Akira's ML news #Week 43, 2020
※有料設定してますが、投げ銭用なので全部無料でみれます
2020年第43週(10/18~)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。
今週の注目記事/論文
- EfficientNetより高速/高精度なLAMBDANETWORKS(1.論文)
- 物体検知の推論高速化 (2.技術的な記事等)
- 画像データセットに潜む偏見を特定(4.その他話題)
過去の記事
Week 42の記事 ⇦ Week 43の記事(コレ)⇨ Week 44の記事
2020年9月のまとめ
内容 :
1. 論文, 2.技術的な記事等, 3. 実社会における機械学習適用例, 4. その他話題
---------------------------------------------------------------------
1. 論文
----------
sharp minimaに陥いることを防ぐ最適化手法
Sharpness-Aware Minimization for Eciently Improving Generalization
https://arxiv.org/abs/2010.01412
損失関数が sharp minimaに陥いることを防ぐように、モデルのパラメータに損失が最も上昇するような摂動を加えた上で最適化を行うSAMを提案。汎化性能が向上し、ラベルノイズにも頑健であることを確認した。
EfficientNetより高速/高精度なLAMBDANETWORKS
LAMBDANETWORKS: MODELING LONG-RANGE INTERACTIONS WITHOUT ATTENTION
https://openreview.net/forum?id=xTJEN-ggl1b
画像に自己注意を適用する場合は画素毎AttentionとQueryの行列積で潜在表現を得るが、場所によらず固定されたkeyとvalueでの行列積で抽象化されたマップとQueryを掛け合わせることによって潜在表現を得るLambda Layerを提案。EfficientNetより高速/高精度な結果。
自己教師あり学習手法SimCLRやBYOLを理論的解析
Understanding Self-supervised Learning with Dual Deep Networks
https://arxiv.org/abs/2010.00578
対のネットワークをもつ自己教師あり学習手法SimCLRやBYOLを理論的に解析した研究。これらは強力なデータ拡張をしても残る特徴を共分散演算子によって増幅することで学習していると提唱。またBYOLは予測器を数エポック毎に初期化しても精度が落ちないことを発見。
自由エネルギーの計算を深層学習で実施
Targeted free energy estimation via learned mappings
https://aip.scitation.org/doi/10.1063/5.0018903
溶媒効果や酵素反応をシミュレーションする自由エネルギー摂動法(FEP)を深層学習を用いて行う研究。周期対称性などの物理的な制約を課したモデルを提案し、自由エネルギー推定値の分散を大幅に下げることに成功した。
Momentumを勾配の予測と解釈した最適化手法
AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients
https://arxiv.org/abs/2010.07468
最適化手法AdaBeliefの提案。Momentum(m)を勾配(g)の予測とみることで、gとmの方向が合っていれば大きなステップの更新をかける仕組みになっている。分類問題やGANでAdamより優れた結果。
潜在空間の分離と生成画像の品質を両立する生成モデル
High-Fidelity Synthesis with Disentangled Representation
https://arxiv.org/abs/2001.04296
β-VAEなどでdisentangleな表現を得るEncoderを学習した後、それを使ってGANで画像生成をすることで、画像の品質と潜在空間の整然さを両立させID-GANを提案。1024^2の高品質画像を生成しながらも画像を自由に操作できる
積分カーネルの計算をニューラルネットで実施
Fourier Neural Operator for Parametric Partial Differential Equations
https://arxiv.org/pdf/2010.08895v1.pdf
フーリエ空間における積分カーネルの計算をニューラルネットワークで代替させる研究。Navier-Stokes方程式等の流体シミュレーションに適用した結果、数値シミュレーション(FEM)に比較して最大1000倍以上の高速化を実現した。
---------------------------------------------------------------------
2. 技術的な記事等
----------
データサイエンティスト面接の120以上の想定質問とその回答
データサイエンティスト面接の120以上の想定質問とその回答。統計/機械学習の基礎知識や実務での活用を問う内容になっている。統計/機械学習の基礎が習得できているかをテストする意味でもおすすめ。
正規化層の解説
図解とともに正規化の解説・主な用途を解説した記事。BatchNorm, LayerNormはもちろんSPADEまで解説されている。
物体検知の推論高速化
物体検知の推論速度を9FPS→650FPSまで高速化させた記事。CPU/GPUの転送を避けること、重い計算をGPUにさせること、バッチ処理すること、半精度の使用、などが挙げられている。Nsight SystemsでCPU/GPUの使用状況がどうなっているかを逐一見ながら適応手法の根拠を示してくれるので非常に納得感がある
---------------------------------------------------------------------
3. 実社会における機械学習適用例
----------
電池の性能をAIで予測
MITとトヨタの研究者が電池の性能を計測している。通常、電池を劣化させるまで試験するためには数年単位で充電/放電を繰り返さなければならないが、数時間分のデータを使って機械学習で予測することで、電池の性能を予測している。電気自動車には急速充電の電池が必要だが、それの選別に役立つとのこと。
AI 目視検査プラットフォーム
LandingAIが目視検査のプラットフォームLandingLensをリリース。AIの専門家ではなくても数クリックでモデルを展開できる。多くの製造業は小規模な実証プロジェクト(いわゆるPoC)の後で多くの企業が行き詰まっているため、全体的な採用は遅れているが、LandingLensは多くの目視検査プロジェクトの構築と出荷に関するノウハウと専門知識を基に開発されているため利活用を促進できるとのこと。
---------------------------------------------------------------------
4. その他話題
----------
画像データセットに潜む偏見を特定
画像データセットに潜む偏見を特定するツールが公開。既存の画像注釈と、オブジェクト数、オブジェクトと人の共起、画像の原産国などの測定値を使用して、測定する。人とオルガンに関しては、男性は演奏している、女性は演奏していないけど同じ空間にいる、などの違いがあった。
---------------------------------------------------------
TwitterでMLの論文や記事の紹介しております。
https://twitter.com/AkiraTOSEI
記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。
過去の記事
Week 42の記事 ⇦ Week 43の記事(コレ)⇨ Week 44の記事
2020年9月のまとめ
ここから先は
Akira's ML news & 論文解説
※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…
記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。