Akira's ML news #Week 51, 2020
今週の注目記事/論文
- EfficientDet-D7よりも高精度で高速な物体検知モデル
- 生成データの質と学習データの質
- データサイエンティストに必要なソフトスキルは何か
---------------------------------------------------------------------
2020年第51週(12/13~)に私が読んだ論文や記事で特に面白かったものを紹介します。なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます
過去の記事
Week 50の記事 ⇦ Week 51の記事(コレ)⇨ Week 51の記事(未執筆)
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
内容 :
1. 論文, 2.技術的な記事, 3.実社会における機械学習適用例, 4.その他話題
---------------------------------------------------------------------
1.論文
----------
生成データの質と学習データの質
A Note on Data Biases in Generative Models
https://arxiv.org/abs/2012.02516
生成モデルにおけるデータセットの影響を調べた研究。データセット毎に訓練されたAuto EncoderのDecoderで、同じ潜在表現をデコードさせるとデータセット毎に質も違いが見られた。これはモデルだけでなくデータセットの品質向上も生成画像の高品質化に影響を与えていることを示している。
言語データの出現確率を考慮することで、同じ単語の繰り返し生成を避ける
F2-Softmax: Diversifying Neural Text Generation via Frequency Factorized Softmax
https://arxiv.org/abs/2009.09417
テキスト生成において同じ単語が繰り返される問題がある。それをテキストデータの偏りに原因があると仮定し、tokenを頻度毎にクラス分けし、まずその頻度クラスを予測した上で単語を生成するF^2 softmaxを提案。従来手法より偏りの少ないテキスト生成が可能になる。
医療画像データへの敵対的攻撃
STABILIZED MEDICAL IMAGE ATTACKS
https://openreview.net/forum?id=QfTXQiGYudJ
医療画像に対する敵対的攻撃方法の提案。通常の敵対的ノイズ発生損失に加えて、敵対的サンプルとそれにガウス平滑化をかけた画像のネットワークの出力を最小化するような項を損失に加える。医療画像では多くの画像ドメインが存在するが、汎用的に攻撃できる。
End-to-Endで学習できるPanoptic Segmentationモデル
MaX-DeepLab: End-to-End Panoptic Segmentation with Mask Transformers
https://arxiv.org/abs/2012.00759
Panatonic Segmentationにおいて、完全なEnd2Endで学習できるMax-DeepLabを提案。Global Memoryと画像の2つのパスがあり、相互作用をTransformerでとる構造になっている。COCOで大きくスコアを向上させSotA。
※Panatonic Segmentation：Instance SegmentationとSemantic Segmentationを組み合わせたタスク
Global memoryを使ってTransformerの計算量を削減
GMAT: Global Memory Augmentation for Transformers
https://arxiv.org/abs/2006.03274
TransformerにGlobal memoryを付加した構造をとるGMATを提案。計算量をメモリ長さM、系列長さLとしてL^2→M*(L+M)まで削減することができる。長い系列をメモリ表現に圧縮することができ、大域的な推論を要する課題で精度が向上した。
縦横毎にAttentionをかけることで画像のGlobal Attentionを扱う
Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation
https://arxiv.org/abs/2003.07853
縦横それぞれ別にSelf-Attentionをかけることで、計算量を削減しつつ(正方形の場合、size^4→2*size^3)、画像に対するGlobal Attentionを実現するAxial-Attentionを提案。画像認識、Segmentation系で効果を確認した。
YOLOv3をネットワークを含めて最適化する
YOLOv4: Optimal Speed and Accuracy of Object Detection
https://arxiv.org/abs/2004.10934
Cross-Stage-Partial, Spatial-Pyramid-Pooling, Path-Aggregation NetworksなどでYOLOv3を最新手法で大幅に変更し、EfficientDetより高速かつ高精度にした研究。既存の技法で良いものを選ぶようなアーキテクチャや学習手法も含めたハイパラチューニングをしているようなイメージ。
EfficientDet-D7よりも高精度で高速な物体検知モデル
Scaled-YOLOv4: Scaling Cross Stage Partial Network
https://arxiv.org/abs/2011.08036
YOLOv4のネットワークであるCSPDarknet53をベースに、解像度、幅、深さのトレードオフを探索した研究。EfficietntDet-D7を超える精度と速度を達成
---------------------------------------------------------------------
2.技術的な記事
----------
エンジニアのためのNeurIPS2020の重要論文
このブログ著者が考えるNeurIPS2020の重要論文のリスト。Transformer系を中心にまとめられている。
ECCV2020論文読み会の資料
先日行われたECCV2020論文読み会の資料がまとまっている。
---------------------------------------------------------------------
3.実社会における機械学習適用例
----------
環境保護のためのAI
環境保護にAIを使っている例を扱った記事。リサイクル、種の保存、下水汚染の削減、食料廃棄の最小化、大気汚染緩和、森林の保護に使われた例を紹介している。
ミツバチをAIで保護する。
今までは人手でミツバチの巣を検査していたが、それだとミツバチにストレスを与えてしまう。ApisProtectを使うことで、ミツバチの巣に混乱をもたらすことなく、病気や外注から保護することができる。ミツバチは様々な植物の受粉に関わっているので、ミツバチを保護することで食品の高騰を防ぐことができる。
---------------------------------------------------------------------
4.その他話題
----------
データサイエンティストに必要なソフトスキルは何か
データサイエンスにおいて、どのようなソフトスキル（コーディング、特定の言語の学習のようなハードスキル以外のコミュニケーションなどの能力）が必要かを議論しているスレッド。顧客に適切な質問をする能力、などが挙げられている
分野別AI企業
生産性向上、人事、製造業、健康管理などの分野別に有力なAI企業をまとめた記事
---------------------------------------------------------------------
☆☆ 宣伝 ☆☆
2021/1/16(土)にNeurIPS2020の読み会をやります！
招待講演として早稲田外学の森島先生と、同じく早稲田大学の尾形先生にご登壇いただきますので、是非ご参加ください！発表者も大募集中です！
---------------------------------------------------------------------
過去の記事
Week 50の記事 ⇦ Week 51の記事(コレ)⇨ Week 51の記事(未執筆)
2020年9月のまとめ
2020年10月のまとめ
2020年11月のまとめ
---------------------------------------------------------------------
記事は以上です。ここから下は有料設定になっていますが、特に何もありません。この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。
ここから先は
Akira's ML news & 論文解説
※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…
記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。