Akira's ML news #Week 49, 2020

今週の注目記事/論文

- 2020年の機械学習論文Best10
- 実社会への機械学習適用時の課題と克服した方法のサーベイ
- 50年来の未解決問題であるタンパク質折り畳み問題を解決へ大きな一歩

---------------------------------------------------------------------

2020年第49週(11/29~)に私が読んだ論文や記事で特に面白かったものを紹介します。なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます

過去の記事
Week 48の記事 ⇦ Week 49の記事(コレ)⇨ Week 50の記事
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ

内容 :
1. 論文, 2.技術的な記事, 3.実社会における機械学習適用例, 4.その他話題

---------------------------------------------------------------------

1.論文

----------

GANの技術でビデオ会議の通信量を減らしたまま画像を高品質に保つ

One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
https://arxiv.org/abs/2011.15126
ビデオ会議において、受信側に顔のキーポイント表現のみを送信することで市販の規格と比較して10倍の帯域幅削減に成功。キーポイント表現から受信側でFew-shot Talking Headにより顔画像を高品質に再構成させる。

MobileNetV3より小さな計算量で大きく精度を超えるモデル

MicroNet: Towards Image Recognition with Extremely Low FLOPs
https://arxiv.org/abs/2011.12289
ShuffleNetのようにチャネルを入れ替えつつ層間の結合をグループ化を対角ブロック行列によって実現するMicro-Factorized Convolusionと、グループを跨いで最大値をとることで非線形性をより強めるDymanic Shift-Maxを提案。MobileNetV3より小さな計算量で大きく精度を超える結果。

実社会への機械学習適用時の課題と克服した方法のサーベイ

Challenges in DeployingMachine Learning: a Survey of Case Studies
https://arxiv.org/abs/2011.09926
機械学習の実活用の課題とそれの解決策のサーベイ。データ、学習、評価、アプリ等への実装等の観点別に、それぞれの課題に対して深く掘り込み、どうやって克服したか述べている論文をまとめている。

半教師あり学習と対照学習の組み合わせ

FROST: Faster and more Robust One-shot Semi-supervised Training
https://arxiv.org/abs/2011.09471
半教師あり学習に対照学習のロスを組み込むことで、学習がより高速になるFROSTを提案。128エポックのみで教師あり学習の精度に匹敵し、ハイパーパラメータの選択にも頑健。

人間が筆で絵を描くような過程でスタイル変換

Stylized Neural Painting
https://arxiv.org/abs/2011.08114
画素毎に値を構成するのではなく、人間が筆で絵を描くような過程でスタイル変換を行う研究。無のキャンバスから筆跡など微分可能にしたもので複数回合成(描く)を繰り返し、対象との類似度より自己教師あり学習として学習させる。

Decoderを取り外すことでTransformerベースの物体検知モデルの収束速度向上

Rethinking Transformer-based Set Prediction for Object Detection
https://arxiv.org/abs/2011.10881
Transformerを使っている物体検知モデルDETRは収束が遅い(500epochs)。その原因をDecoderにあると特定し、それを排除した上でFater-RCNN等の機構を採用する。収束が大幅に早くなり(36epochs~)精度も向上する。

データ駆動で時間依存の偏微分方程式を解く

DIFFUSIONNET: ACCELERATING THE SOLUTION OF TIME-DEPENDENT PARTIAL DIFFERENTIAL EQUATIONS USING DEEP LEARNING.
https://arxiv.org/abs/2011.10015
データ駆動で時間依存の偏微分方程式を解くDiffusionNetを提案。２次元過渡熱伝導などのタスクにおいて、空間や時間が大きい場合に速度向上の優位性があることを確認。

ResNeXtのグループ化とSelective-Kernelの構造を組み合わる

ResNeSt: Split-Attention Networks
https://arxiv.org/abs/2004.08955
ResNeXtのグループ化とSelective-Kernelの構造を組み合わせたSplit-Attention moduleを提案。画像分類、物体検知、意味領域分割、Instace Segmentationで精度の向上を確認。

学習時と推論時の解像度のずれを修正することで精度向上

FIXING THE TRAIN-TEST RESOLUTION DISCREPANCY: FIXEFFICIENTNET
https://arxiv.org/abs/2003.08237
EfficientNetは解像度を上げることで精度を向上させるが、学習時と推論時の解像度のずれにがある。学習後に浅い層を所定の解像度でFine-Tuningを行うことで、この差分を埋め、ImageNetにおいて外部データを使わずにNoisyStudentを超える結果を達成した(SotA)。

---------------------------------------------------------------------

2.技術的な記事

----------

2020年の機械学習論文Best10

GPT-3, EfficientDet, ViTなど2020年に出された機械学習論文を10個紹介している。概略を説明するだけでなく、コア技術の解説、コミュニティの反応などもまとめられている。

2020’s Top AI & Machine Learning Research Papers

---------------------------------------------------------------------

3.実社会における機械学習活用例

----------

パジャマのままビデオ会議に出る

カメラに写っている人物をAIによって変換する仮想カメラアプリXpressionをEmbody(https://embodyme.com/)がリリース。自分の代わりにアインシュタインに喋らせたりすることができる。ビデオ会議をずっとしていると監視されているような気がして疲れてくるので、そのようなときに有効。

xpression camera: A virtual camera app that reinvents Zoom calls amid the coronavirus pandemic

---------------------------------------------------------------------

4.その他話題

----------

50年来の未解決問題であるタンパク質折り畳み問題を解決へ大きな一歩

AlphaFoldを大幅に改善したAlphaFold2をDeepMindが発表。AlphaFold2で50年来の未解決問題であるタンパク質折りたたみ問題を解決できるとしている。論文や詳細な手法はまだ未発表。

AlphaFold: a solution to a 50-year-old grand challenge in biology

---------------------------------------------------------

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。調査や論文読みには労力がかかっていますので、この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。

TwitterでMLの論文や記事の紹介しております。

https://twitter.com/AkiraTOSEI

---------------------------------------------------------------------

過去の記事
Week 48の記事 ⇦ Week 49の記事(コレ)⇨ Week 50の記事
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ