Auto MLの登場で、見つめなおすべきこと ─「Microsoft Open Tech Night #2 」で登壇してきました
岡田です。
12/10（火）、お誘いをいただきまして、「Microsoft Open Tech Night #2 〜AutoML編〜」にてスピーカーをしてきました。（といっても、私はパネルティスカッションのパネリストとして、なのですが。）
私が、以前にいくつかPoCプロジェクトの実務経験があり、現在もAIスタートアップさんとお仕事をしているので、そのコンテキストからAuto MLについて語るマンとして呼んでいただいたのでした。ありがとうございました。
さて、こちらの記事では、パネルディスカッションで上がった質問をピックアップしながらまとめてゆきます。ガチ勢エンジニア向けではなく、ビジネス寄りのお話も強めです。「AIやMLが気になる。さらにいえばAzure Machine Learning Auto ML気になっている！」という方の参考になれば幸いです。
どういうイベントだったのか
まず前半に、畠山さんによるAzure Machine Learningにアップデートで追加されたAuto ML新機能の紹介がありました。
そして、畠山さん・横井さん・私の3人で
・AutoMLで何ができるのか？
・本当に使えるのか？
といった話題をテーマに、オーディエンスも交えたインタラクティブなパネルディスカッションをおこないました。
この記事ではパネルディスカッションの内容にフォーカス、サマリーし、これからAI/MLプロジェクトを始めようとする人のヒントをお届けしたいと思います。（※質問の回答は、横井さん・畠山さん・私３人とも方向性として同じ回答になりました。細かい差はあれど、この記事では３人の意見をマージしてお伝えしています）
Azure Machine Learning Auto MLの詳細が気になる方は畠山さんによるスライドをご覧ください。
モデレーター
・横井 羽衣子さま 日本マイクロソフト Azure AI シニアプロダクトマネージャー
パネリスト
・畠山 大有さま 日本マイクロソフト シニアクラウドソリューションアーキテクト
・岡田 孟典 わたし。しがないフリーランスエンジニア。
Q.データサイエンティストは不要になるのか？
─どんどん自動していきますが、データサイエンティストといった職種は不要になるのでしょうか？
回答は「不要にはならない」です。
プロジェクトで使うデータが、良いのか悪いのかを評価する人が必要です。AI/MLで非常に大事なのはデータです。データが駄目だったら、何をしても駄目なのです。
また、Azure Machine Learningでは、まず最初にどんなタスクなのか（判別、予測 etc）を選択するインターフェースになっています。どのタスクなのか判断できる人がやはり必要です。
では、専門家の独占的な領域なのかというとそうではないと思っていて、AI/MLに興味ある方が「おれたちがデータサイエンティストになってやるぜ！」ぐらいの気持ちで挑んで、Azure Machine Learningを触りながら楽しんでいただけたら良いと岡田は思います。
エッセンスさえつかめていれば、深い知識がなくてもMLプロジェクトを遂行できてしまう。それぐらいのパワーがAzure Machine Learningにはあると思います。
Q.Auto MLって何がAutoなの？
─「Auto」って名前についていますが、全部自動で何でもやってくれるんですか？
答えはNOです。Auto MLでは、MLプロジェクトの流れの一部が自動化されます。
この「Auto」がどういった文脈ででてきたものなのかをご説明しますね。岡田の経験も交えながらお話します。これまでのMLプロジェクトというは、
・データを観察し、仮説をたててアルゴリズムを選ぶ
・モデルを学習する
・モデルの結果をまとめる
・結果を考察し、パラメータやアルゴリズムを調整し、より良い精度のモデルをつくる
この一連の流れの繰り返しがMLプロジェクトです。しかし、このオペレーションは人間の手だと限界がありました。
探索的におこなうのがMLプロジェクトです。良いモデルにたどり着くまで、これこそマウス実験のように、何度も何度もモデルをつくります。しかし、つい結果やパラメータを記録し忘れたり、自力で考える仮説では精度が行き詰まったりといったことが起きます。人間ですから。
実務の中身は、網羅性とトレーサビリティをいかに確保していくかという泥臭い戦いというワケです。なんと人間が不得意そうなことでしょう。
そして、この課題に対してAuto MLというものが登場します。上記の一連のオペレーションをオートメイトしてくれるのがAuto MLというわけです。Auto MLでは、モデルは平行でいろんなアルゴリズム、いろんなパラメーターで学習され、その結果やパラメータはシステムによって自動で記録されてゆきます。
ですので、先程の話とも関連しますが、専門知識が全くのゼロでは取り扱うのがちょっと難しいものになります。逆に、一度MLプロジェクトをやったことがある人には、これまでのオペレーションがより効率的・効果的になる事が実感できるはずです。
Q.プロダクトレディーになるための指標ってありますか？
─モデルの精度がどれぐらいまで行けば、プロダクトに実践投入して良いのか、などの指標はありますか？
こちらは非常に良い質問でした。ありがとうございます。
結論からお話します。普遍的な指標はありません。
なぜなら、それはお客さま自身が決めることだからです。
岡田が対面してきた失敗PoCのお話をしましょう。上手くいかないな、と感じるPoCの共通点。それは、ビジネス上の数値的な目標値がないことです。
いくらモデルの精度をあげようと、どこまでいっても、そのプロジェクトの評価は質的な基準でしかできませんでした。
そして、質的評価というのは主観ですから、各人によってバラバラになります。たとえば、
担当者Aさん「めっちゃ良いね！」
担当者Bさん「なんかビミョーじゃない？」
役員のCさん「良いのか悪いのかよくわかんない」
カオスですね。
これに対し、主観抜きの判断に必要なのが、数量的な指標です。
作業時間だったり、問い合わせ数だったり… なんらかにビジネス上の数値と照らし合わせないと、正当な評価ができません。
そして、照らし合わせるためには、できたモデルを現場にデプロイしなければいけません。
つまり、ドメイン知識と、現場へのコミットメント。この２つが必要です。
これらはベンダーだけの力では限界があります。ゴールを決めることは最終的にはお客様にしかできないのです。
そして究極的には、ビジネス上の指標が良くなれば、べつにモデルの精度が低くたってもいいわけです。指標も、とある部署のとある時に起こるとある作業時間が数十%軽減されるとか、ドメインドメインしてミクロな指標だって良いわけです。
Autoにならない部分にフォーカスすべき。いかにデータをつくるか、いかにビジネスにつなげてゆくか。
パネルディスカッションのサマリーはここまでです。ここからは私のポエムです。
今回のディスカッションは非常に良いものでした。
なにが「Auto」になって、なにが「Auto」にはならないか、
明らかになったからです。
ふりかえます。
Autoになること
いろんなモデルを作成すること、そのモデル精度を評価し、記録・比較すること
Autoにならないこと
1. データの作成/妥当性の判断
2. ビジネスへ結びつけるためのプロジェクト設計
Autoにならないことは、ドメイン知識が必要だったり、人間のコミットメントが必要です。永遠にAutoにはならないでしょう。
Autoにできる所はどんどんまかせて、私たちはAI/MLをいかにビジネスに結び付けられるかに注力しようではありませんか。
成功事例ばかり追うべからず
では、具体的にどうしたら良いでしょう。MLプロジェクトの現場にいる人と対話するというのが、非常に良いことだと私は思います。
私も今回、畠山さん・横井さんのお話で学びが多かったです。お２人は現場も見てらっしゃいますから、そこでの苦労のお話、良いTIPSが聞けました。
私も偉そうにこの記事で語っていますが、失敗のほうが多かったです。開き直るわけではありませんが、私は成功だけ取り上げることに反対です。
だって、成功だけが取り上げられたら、生存バイアスGIGAMAXな世界しか待ってないんです。大々的に成功しているように見えている企業は、だいたいスーパーマンがいますから。あまり参考にならないし、再現性は低いです。
また、世のプレスリリースはだいたいが誇張してます。ほんとうは良くない結果だったのに、成功した"ということにしている"PoCもあるのではないかと思っています。プレスリリースの場っていうのは、いかに自分たちを良くみせるか、というハッタリ合戦の場です。あれらはだいたい虚像です。（※もちろんすべてがそうとは言いませんよ！）
虚像にひっぱられず、実際に足を使って、現場の人と対話をしましょう。百聞は一見に如かずです。ですので、こうしたコミュニティイベントは非常に良いと思います。
「他人を見て我が振り直せ」というとネガティブに聞こえるかもしれませんが、AI/MLプロジェクトは失敗した話もふくめ、散在したノウハウを集合知にしてゆくフェーズなのだと思います。
みんなでAIを実社会にデリバーしてゆきましょう。
それではまた！
岡田
この記事が気に入ったらサポートをしてみませんか？