見出し画像

Akira's ML news #Week 4, 2021

akiraTOSEI

2021年第4週(1/17~)に私が読んだ論文や記事で特に面白かったものを紹介します。なるべく新しいものを紹介していますが、論文投稿日はこの週のものとは限りません。※有料設定してますが、投げ銭用なので全部無料でみれます。

内容 :
1. 論文, 2.技術的な記事, 3.実社会における機械学習適用例, 4.その他話題


今週の注目記事/論文

- 物体検知モデルを文書で慎重に学習させることで良い画像/言語表現を得る
- ニュースから中立的な要約を生成する
- GPT-3レベルのモデルを無料公開する取り組み

---------------------------------------------------------------------

1.論文

----------

画像と文書から時間的な関係を自己教師で学ぶ

画像9

Learning Temporal Dynamics from Cycles in Narrated Video
https://arxiv.org/abs/2101.02337
画像と文書を組みわせて時間的な関係を自己教師あり学習する手法を提案。画像から対応する文書を見つけた上で、将来の情報を予測させ、そこから過去を予測するcycle consistencyで学習させる。大規模な画像データセットから時間的構造や事例の要約を発見するためにも利用できる可能性がある。


線分検出でTransformerを利用

画像8

Line Segment Detection Using Transformers without Edges
https://arxiv.org/abs/2101.01909
線分検出において、線分はアンカーで検出しにくいため、アンカーを排除したTransformerベースの物体検知モデルDETRの改良モデルを適用する方法を提案。一度特徴量マップが深い場所で粗く検出し、解像度が高い状態で詳細に検出する戦略をとっている。


決定境界で重点的に敵対的学習を行う

画像7

GEOMETRY-AWARE INSTANCE-REWEIGHTED ADVERSARIAL TRAINING
https://openreview.net/forum?id=iAX0l6Cz8ub
敵対的サンプルに対抗するための敵対的学習をすると、現状のモデルサイズではの容量が足りず汎化性能が落ちる。そこで決定境界付近にいて攻撃によりラベルが変わりやすいサンプルを重点的に学習する戦略をとるGAIRATを提案。敵対的攻撃への耐性を高めつつも汎化性能を維持しやすい


徐々にMixupの割合を減らすことで性能向上

画像6

Mixup Without Hesitation
https://arxiv.org/abs/2101.04342
Mixupで得られる表現は強化学習でいう探索/利用トレードオフの”探索”に相当と考え、学習の後半は「利用」に注力する（つまりMixupをあまりしない）アルゴリズムMiup Without Hestation(mWh)を提案。学習を３ステージに分割し、徐々にMixupの回数を減らしていく。混合比率αの選択に対して頑健になる。


物体検知モデルを文書で慎重に学習させることで良い画像/言語表現を得る

画像5

VinVL: Making Visual Representations Matter in Vision-Language Models
https://arxiv.org/abs/2101.00529
Vision-Language(VL)では事前学習した物体検知モデルの表現を扱うが、それらはあまり注目されていなかった。VinVLでは4つのデータセットで慎重に物体検知モデルが良い画像/言語表現を持つように学習す戦略をとる。学習した物体検知モデルは意味的領域をほぼ検知できるモデルになっており、それを使ったVLモデルは7つのタスクで最高精度を更新した。


相互作用する部分にグラフのエッジを追加することで相互作用を表現する

画像4

LEARNING MESH-BASED SIMULATION WITH GRAPH NETWORKS
https://arxiv.org/abs/2010.03409
メッシュをグラフと見做して２つの物体のグラフ間を繋ぎそれらの相互作用をMLPで相互作用を表現することにより、物体間(布と球、空気と空中翼)の接触や衝突を計算することができるMeshGraphNetsを提案。メッシュ空間上では遠いが実距離が違い部分をエッジで繋ぐことが技術のキモ。適応的に最適なメッシュサイズを計算することもでき、従来のシミュレーションより1,2桁程度高速に計算可能。


推論時にスキップ結合とBatchNormを排除することで高速化する

画像3

RepVGG: Making VGG-style ConvNets Great Again
https://arxiv.org/abs/2101.03697
VGGのようなBN/スキップ結合なしのネットワークで高精度を出す研究。勾消失を防ぐために学習時はResNetのようにBatch Normとスキップ結合を使うが、推論時にそれらは不要であるという発想。学習後にそれらを１つの畳み込み層に変換することで実現する。同程度のパラメータ数をもつResNet系ネットワークより高精度。


2回微分できる活性化関数を使うことで、良い陰関数表現を得る

画像2

Implicit Neural Representations with Periodic Activation Functions
https://arxiv.org/abs/2006.09661
データの陰関数表現いおいて、二次微分の情報が非常に重要であるがReLUではその情報を取ることができない。そこでsin関数を使うことにより二次微分の情報が取得できるようにしたSIRENを提案。
点群と法線から三次元構造を復元したり、少数の点から画像を復元することが可能


---------------------------------------------------------------------

2.技術的な記事

----------

BERTを使ったトピックモデル

BERTを使ったトピックモデルとその使い方の解説。Github上にモデルが公開させれており、可視化もできる。


AlphaFold2の衝撃

DeepMindが発表したAlphaFold2が生物学分野に対してどのような影響があるかを述べた記事。Deep Learningが2012年にImageNetで従来手法を超えた時のような衝撃ではなく2020年の精度をもっていきなり参入してきたくらいの衝撃であること、創薬への影響はまだ限定的であること、タンパク質の設計ができるかもしれない、などが述べられている。


kNNの代替策

kNNは基礎的で最もよく使われるアルゴリズムであるが、データセットが大きいと非常に膨大な時間がかかる。この記事では近似的に最近傍を探索できる Approximate Nearest Neighbors(ANN)アルゴリズムの１つであるHNSWの解説と、kNNと実験的に比較を行い、ANNの優位性を述べている

---------------------------------------------------------------------

3. 実社会における機械学習適用例

----------

ニュースから中立的な要約を生成する

テレビニュースや新聞はそれぞれの団体の政治的偏見を含んでおり、同じ事例であっても異なる書き方をされている。このプロジェクトでは、同じ事例を扱った２つの記事から類似する文を見つけ、それらで共通して述べられている出来事のみを要約することで政治的に中立的なニュース文を生成する取り組みをしている。まだ発展途上のようだが、githubレポジトリも公開されている。


銃器を検知するアルゴリズム

銃器を検知してすばやく警備や警察に通報するシステムのアルゴリズム開発の取り組みを述べている記事。どうやってホウキと銃器を区別するのか、データ収集だけでなく、データ拡張も割と詳しく書いてある。ただし、このアルゴリズムの使用先はBLMデモの影響で、警察ではなく民間になりそうだとのこと。


---------------------------------------------------------------------

4.その他

----------

GPT-3レベルのモデルを無料公開する取り組み

高性能言語モデルであるGPT-3はマイクロソフトが独占契約を結んでいるため自由に使うことができない。 EleutherAI.というグループが主導で、無料で使えるGPT-3相当のモデルGPT-neoの開発を進めているとのこと


arxivで論文解説のリンクをみる

Arxiv上で論文のサイトにそれらを説明するビデオに飛べるリンクが貼り付けられるgoogle chromeの拡張機能が登場。1分くらいでインストールできて便利


トップ会議至上主義が招いた悪習

具体的な大学名は挙げられていないが、トップ会議に通して高給な職を得るために不正な研究が蔓延っているという告発。既存のものを組み合わせただけの名ばかりの研究を実施し、論文の体裁を整えることに大きく時間を費やしている研究（？）がトップ会議の、しかもオーラルに通っていると述べている。具体的な実験はあまりせずにいるため、コードの公開もしていない（もちろん匿名掲示板なので真実とは限らない）


---------------------------------------------------------------------

過去の記事

2021 Week 3の記事⇦2021 Week 4の記事(コレ)⇨2021 Week 5の記事
2020年10月のまとめ
2020年11月のまとめ
2020年12月のまとめ
2020年の総まとめ

---------------------------------------------------------------------

記事は以上です。ここから下は有料設定になっていますが、特に何もありません。この記事が気に入って投げ銭しても良いという方がいましたら、投げ銭をして頂けると嬉しいです。

TwitterでMLの論文や記事の紹介しております。


ここから先は

37字 / 1画像
機械学習論文の一言解説、技術的な記事、機械学習の社会実装例などの情報を週刊で発行しているAkira's ML newsを投稿します。 Akira's ML newsで、特に重要だと思ったものを月次、四半期毎、半年毎、1年毎にまとめて投稿します。

Akira's ML news & 論文解説

¥300 / 月 初月無料

※有料設定してますが投げ銭用です。無料で全て読めます。 機械学習系の情報を週刊で投稿するAkira's ML newsの他に、その中で特に…

ログイン

記事を書くために、多くの調査や論文の読み込みを行っております。情報発信を継続していくためにも、サポートをいただけると非常に嬉しいです。