見出し画像

The Batchを訳してみた (11.27.2019 ISSUE 32) Part 1

Stanford大学の非常勤教授やCourseraの創業者であるAndrew Ng氏率いるdeeplearning.aiが、The BatchというAI情報の週刊レターを発行しています。
個人的には情報収集にちょうど良いと思うのですが、あまり読んでいる人がいないなあ、と思っています。そこで、自身の勉強のため、そして、The Batchのファンが増えればといいなと思い、noteに纏めようと思いました。
※意訳の内容に責任は持てないので、気になる方は原文を読んでください

ISSUE 32 Part 2はこちら

ISSUE 33 (12/4発行) はこちら

News 1: 眠れる巨人の目覚め

画像1

PlayStationや様々なガジェットなど、コンシューマ家電を製造するソニーは、AIにフォーカスした3つの研究開発センターを立ち上げる。そこで働く社員を新たに雇用するということは、AI研究のフロントランナーであるGoogleやFacebook、Microsoftとの競争や、それらの会社からの引き抜きをするということを意味する。

新着情報:2019年12月に、ソニーは東京、米国テキサス州オースティン、ヨーロッパのの1都市にAI研究センターをオープンする。スタッフとして、それぞれ現地の機械学習エンジニアを採用する。予定従業員数については公表されていない。

今後の予定:ソニーコンピュータサイエンス研究所の所長である北野宏明氏が、このAI研究センターを率いる。北野氏のビジョンは、ゲーミング、センサ&ハードウェア、そして驚くべきことに、ガストロノミー (料理法、美食法) の3つに注力することだ。ソニーは詳細をほとんど公表していないが、いくつかのニュースから手がかりが得られた:

ゲーミング:今年9月に、ソニーはゲームプレイヤーをガイドする、AIアシスタントに関する特許を申請した (例えば、ヘルスステーション(回復ポイント?)にマーカーを追加して、プレイヤーを困難な状況へ誘導する)。ゲーム業界関係者は、AIがよりリアルな敵やゲーム体験を与えてくれると予想している。

センサー:ソニーはディジタルカメラ向けなどの、光を電子に変換するチップのトップメーカーの1つである。2019年2QのCMOSセンサーの売り上げは18億ドルで、これは総売上の20%を占める。AIはこれらCMOSセンサーの知覚能力を向上させる可能性がある。

ガストロノミー:ソニーは新しい料理をつくるために、食品(に対する人間)の感覚的側面を分析(数値化?)したいと考えている。また、料理提供の自動化も研究対象に含まれるかもしれない。昨年、北野氏は米国カーネギーメロン大学の調理ロボット研究 (下準備、調理、配膳を実施)を監督していた。

ニュースの背景:ソニーコンピュータサイエンス研究所は、独立性、機密性、自由さ(Blue Skyプロジェクトなど)で知られている。この研究所で最も著名な製品は、AIを搭載したロボット犬の「Aibo」だ。また、AR (拡張現実)ビデオ会議システムの通信プロトコルの開発などでも知られる。

なぜ重要か?:ソニーは1990年代から2000年代にかけ、AIに投資をしてきた。しかし、これまでDeep Learningによる革命からは離れていた。アメリカ、ヨーロッパにAI研究センターを設立することで、ソニーはAIを用いたコンシューマ製品や顧客体験の開発に注力するが、一方でDeep Learningに真っ先に取り組んできた企業たちと人材を奪い合うことになるだろう。

発行者たちの考え:北野氏は情熱も影響力もある人物だが、彼はひどく多くの役職を兼任している。ソニー社外でも、北野氏はRobCup Federation (ロボットによるチームで、2050年のサッカーワールドカップで優勝することを目指す、コンピュータサイエンスの国際的グループ) の創設者だ。その他、彼は非営利活動法人であるシステム・バイオロジー研究機構を運営し、沖縄科学技術大学院大学では教授を務めている。

News 2: 隠れるバイアス

画像2

ニューラルネットワークのようなブラックボックスなアルゴリズムが、輸送、ヘルスケア、金融などのリスクの高い分野に進出するにつれて、研究者たちは、ブラックボックスなモデルの説明性に関する技術を開発してきた。新たな発見によって、それらの研究成果は、だまされた結果を示している可能性があることが分かった。

新着情報:ブラックボックスなアリゴリズムを理解するための2つの著名なアプローチは、Local Interpretable Model-Agnostic Explanations (LIME) とShapley Additive Explanations (SHAP) である。ハーバード大学とカリフォルニア大学アーバイン校の研究者たちは、これら (2つ) の方式に対し、意図的にバイアスをかけたモデルを、バイアスの無いモデルに見せかける方法を発見した。

重要なインサイト:LIMEとSHAPは、AIモデルが入力データの小さな変化に対する反応を示すことで、バイアスを見つけ出す仕組みだ。統計的な手法により、入力変化の分布がオリジナルの入力データから異なる、ということを示すことができる(上図参照)。悪意を持つものは、その分布の違いを利用する。

騙す仕組み:LIMEとSHAPは任意の入力サンプルに対するブラックボックスモデルの振る舞いを模倣するために、説明性の高い線形モデルを使う。この説明可能なモデルは、入力の変化をブラックボックスモデルに与え、どのように出力が変化するかを測定することで構築される。一旦モデルが構築されると、元のモデルの振る舞いについて、重要な特徴をランク付けし、元のモデルでのバイアスを見つけ出す。Dylan Slack、Sophie Hilgardとその同僚たちは、それらの変更されたデータを認識、学習することで、LIMEやSHAPからバイアス (の発見) を隠す方法を紹介している。

・著者たちの悪意あるシステムは、分布分類器、バイアスを含むモデル、バイアスのないLIME/SHAPモデル、を含む。
・分布分類器は、入力データが変更されているか、いないか、の分類問題を学習する。
・この分類器の出力により、バイアスのあるモデルか、バイアスの無いモデルを使うかを決定する。変化のないデータはバイアスのあるモデルへ送られる。変化のあるデータはLIME/SHAPモデルへ送られる。
・この分類器が正確に入力を分類できる場合、LIME/SHAPはバイアスの無いモデルの出力を参照、説明する。
・しかし、悪意のあるシステムが展開されると、実世界の入力データは(LIME/SHAPにおける意図的な)変化はしないので、そのシステムはバイアスを含むモデルを使用することになる。

結果:論文の著者たちは、COMPAS (犯罪再犯率のデータセット)、Communities And Crime (暴力犯罪と人口統計情報のデータセット)、ドイツのクレジットローン申請のデータセットのための悪意あるシステムをそれぞれ構築した。バイアスのあるモデルは、意図的に人種や性別などの差別的な特徴を悪用した。一方、バイアスのないモデルは、そのような差別的特徴のない部分のみを使用して構築された。結果として、1つのバイアス(例えば、人種のバイアス)を含む悪意あるシステムは、常にLIMEを騙し、85%の確率でSHAPを騙した。2つのバイアスを含むシステムは、90%の確率でLIMEを、67%の確率でSHAPを欺いた。

何が重要か:著者たちのアプローチは、LIMEとSHAPが、新規に生成されたデータに依存している、ということが問題であることを明らかにしている。つまり、モデルの説明性を高める方法が、学習データの分布により近いデータを用いている場合、本研究の方法は失敗する。これは、説明性に関する研究の、有望な研究方針かもしれない。一方、デューク大学のコンピュータ科学者Cyntha Rubinは、リスクの高い状況(輸送、ヘルスケア、etc...)では、ブラックボックスモデルを避けることを提案している。AIコミュニティは、ブラックボックスモデルが適切な場合、そうでない場合について、活発な議論が必要となっている。

発行者たちの考え:主要なAIプロバイダが本研究の手法を使用してバイアスを隠し、(最終的に)捕まった時には、中傷される可能性が高く、それが悪用の阻害要因となるはずだ。また、LIMEやSHAPが本研究のような特定の実装に対して修正、変更されることを想像する一方、本論文では、ブラックボックスモデルのバイアスをチェックすることは、容易ではないと注記している、と述べている。


Part 2はこちら。

翌週 (ISSUE 33) はこちら。

また、マガジンとしてまとめています。


この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

note.user.nickname || note.user.urlname

最後まで読んでいただきありがとうございます! スキやフォロー、拡散いただけると嬉しいです。よろしくお願します。 Twitterもフォローいただけると幸いです。https://twitter.com/hdmrnk

11
アメリカにMBAとInformation SystemsのJoint-Degree専攻で留学中の大学院生。授業に飽きてきたのでTwitterやnoteを始める。元TOEIC245点からの海外留学。いまだに英語は苦手です。。
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。