Akira's ML news #Week 37, 2020

2020年9月11日 18:42

2020年第37週(9月第2週)に私が読んだ論文や記事で特に面白かったものを紹介します。※なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。

内容 1. 論文, 2.技術的な記事等, 3. 機械学習の活用例

論文

Flow-edge Guided Video Completion

https://arxiv.org/abs/2009.01835
Flowを用いたビデオの欠損補完の研究。ポイントは①欠損部エッジ検出して繋げる(補完する)ことでFlowの補完③少し時間的に遠いフレームを使ったFlow計算で見えない部分を取得③勾配を用いた再構成で継ぎ目を防ぐ。先行研究より定量的に優れており、ビデオから人を消すこともできる。

Dynamic Refinement Network for Oriented and Densely Packed Object Detection

https://arxiv.org/abs/2005.09973
密で軸線が画像に対して回転している物体検出は難しいが、BoundingBoxを使わず物体中心を回帰するCenterNetをベースに、検出対象の線にそって検出ができるようにしたモデルを提案。Deformable Convを使って回転に対応し、フィルターを生成することでサンプル毎に動的に対応できるDRHを提案。

Out-of-Distribution Generalization with Maximal Invariant Predictor

https://arxiv.org/abs/2008.01883
外れ値に対しても汎化させる問題において、理論的な解析とともに大きなの損失をとるデータの勾配を平均の勾配に近づけるように学習する手法を提案。Colored-MNISTで効果があることを確認した。

GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework

https://arxiv.org/abs/2008.11062
GANのGeneratorを小さくする研究。蒸留・量子化・枝刈を組み合わせる。量子化は通常微分不可だが擬似的な勾配を使うことでE2Eの学習を可能にしている。既存のモデルを1/47にまで圧縮することに成功した。

SliceOut: Training Transformers and CNNs faster while using less memory

https://arxiv.org/abs/2007.10909
メモリ効率の良いDropoutであるSliceoutを提案。一様なランダムで欠落させる部分を選ぶのではなく、行列を連続する範囲で選択し、スライスすることにより、時間のかかるメモリの再割り当てがなくなるので、高速になる。

Aligning Videos in Space and Time

https://arxiv.org/abs/2007.04515
ビデオにおける行動の対応部分を教師なしで検出する研究。教師なしで学習したトラッカーからで検出されたパッチ同士の距離を測ることによって、パッチレベルの対応関係を学習する。既存の特徴量抽出機より良い精度で検出できる。

技術的な議論、ツール、記事

Kaggleの創始者であるAnthony Goldbloom氏へのインタビュー記事

KaggleのコンペがRandom Forestの有用性を証明したこと、学会でGBDTそこまで流行してないが構造化データでは上手く機能していること、現在の研究が特定のデータセットに過学習しているのではないか、Kaggle NotebookとKaggle Datasetの導入で多くの人が自由に洞察を述べられる環境になったこと、などを議論している。

COVID-19影響下における時系列モデルの修正

需要予測モデルなどの時系列予測モデルがCOVID19の影響で破綻することは知られていたが、それにどう対応すればいいかがRedditで議論されている。季節性の低下と同等の傾向だったので、影響が大きな季節性要因として扱った、などの意見がある。

ACL2020オンライン読み会の資料

株式会社エクサウィザーズ主宰で開催されたACL2020読み会における招待講演の乾先生/鈴木先生の講演資料。他の発表者の資料もイベントページに置いてある。

「知識と推論に基づいて⾔語で説明できる AI」への道のり

NLP分野における半教師あり学習および疑似データ学習法の最近の進展

機械学習の活用例など

科学者とAIアシスタントで宇宙の監視をする

https://phys.org/news/2020-09-magnetic-eruptions-space-ai.html
太陽風が地球の磁気圏とぶつかることで発生するマグネトポーズという現象は稀にしか発生しないため、高度な技術をもつ科学者をフルタイムで動員することで監視していた。その作業を機械学習でアシスタントを作る試行錯誤の記事。難しいタスクなので、学習のループ内に科学者を介在させる”Scientist in the Loop”で精度を改善した。