最新AI研究トレンド （NeurlPS技術報告会より）

世界最高峰のAIカンファレンス「NeurIPS」を知っていますか？NeurIPSは、「Neural Information Processing Systems」の略で、機械学習分野の最先端の研究内容が発表される国際学会です。

２月４日、日本ディープラーニング協会 JDLAが主催した「NeurlPS技術報告会」は、数日間に渡って開催されたNeurlPSの内容をたった数時間に凝縮したお得（？）な勉強会となっています。
G検定、E資格の合格者コミュニティ「CDLE」のメンバは無料で参加可能です。

難しいところも多かったんですが、とてもためになったので、メモ。

AI研究の潮流１：第４世代AI

解決したい現在のAI問題

①学習に大量のデータと時間、計算資源が必要
ネットワークモデルの選択よりもデータサイズや時間の方が重要になっている。要はコストに依存している状態。（一部の裕福な企業しか対応できない？）
②ドメイン外のデータに弱い
実世界への実装に不安。
③パターン処理はできるが意味理解等の高次処理に弱い
人間が１秒以下で判断できること（色や分類）はできるが、時間のかかるロジックの組み合わせはまだ難しい

解決のための研究トレンド

１．アーキテクチャの改善　
・軽量化「Switch transformer」「GLaM」「Luna」等
・問題①に対応
２．マルチモーダル
・画像と自然言語を組み合わせて学習
・Promptingの活用。Promptingとは少数サンプル(Few-shot)での学習法。モデルのパラメータを変化させずに学習できる
・問題②③に対応
３．Temporal Adaption
・時系列でデータが新しくなるにつれ言語モデルの性能は低下してしまう→Adaptiveな言語モデルが必要。具体的にはタイムスタンプを同時に言語モデルの入力に用いることを提案
・問題②に対応
４．Retrieval Augmentation
・問題①②に対応

AI研究の潮流２：信頼されるAI

解決したい現在のAI問題

①AIのブラックボックス問題（説明責任）
②AIのバイアス問題（公平性）
③AIの脆弱性問題（堅牢性）
④AIの品質保証問題（透明性）
⑤AIによるフェイク問題

解決のための研究トレンド

５．ベンチマークの見直し
・既存のデータセットではモデルの評価が追いついていない
・モデルの評価方法自体の議論
６．データセットの見直し
・モデルではなくデータをチューニングして精度を競う
（Andrew Ng氏によるData Centric AIコンテスト）
・モデルの良さを測る方法は研究されているが、データの良さを定期的に測る方法は未開拓
ex．各問題への対処
・堅牢性問題→外乱に対して強いスキン付与を強制すれば良い？

課題提起

信頼されるAIさえできれば問題ないのか？

Human Centered AI（HCAI）

・機械化と人間の課題はトレードオフではない（一次元のスライドバーで表現するべきではない）
・HCAIでは、Human Control度合いとComputer Automation度合いを二次元的に捉える

その他

・EditGAN
　・GANの生成画像を後から編集できる。AIの間違いをすぐに人間が修正できる仕組みに価値があるのでは