機械学習工学研究会（MLSE）夏合宿 2020に参加しました
この記事は、MLSE夏合宿に参加されなかった方向けに、
MLSEとはどんな議論をしている場なのかを紹介するものです。
MLSE夏合宿とは
MLSE夏合宿とは、機械学習工学研究会の年一回の集中議論イベントとして毎年開催されているもので、7/1-7/3にオンラインで実施されました。
https://mlxse.connpass.com/event/175970/
MLSEの夏合宿は3回目です（2018年が初回）。基調講演・鼎談・論文発表などの全員参加型の講演の他、多数の企画セッションが開催され、参加者間の議論がとても多いイベントとなっています。
私は、1回目は参加しポジションペーパー発表、2回目は社用で欠席でした。
今回は、企画セッションのオーガナイザーとポスター発表をしながら、
色々な議論に参加しました。
参加者について
実行委員や招待講演の方も含め、130名以上の方が参加されたようです。
おそらく、非オンラインでしたらもっと少なかったと思います。
個別の議論が薄くなることや懇親が図れないことが難点ですが、コミュニティが段々育っている時期におけるオンライン合宿は、気軽に参加いただける点で悪くないなと思いました。
参加者は、企業所属またはフリーランスが7-8割 研究専門機関・大学所属または学生が2-3割といったところかと思いました。
世間でいう「学会」のイメージよりはずっと社会人だらけであり、エンジニアや企業人向け勉強会と学術発表会の間のような雰囲気があります。単なるツールの勉強会でもなく、アカデミックすぎることもなく、良いバランスであると感じます。
MLSEの主な研究課題・議論対象について
全ての講演やセッションを紹介できるほど把握しておりませんが
MLSEの議論対象が整理されてきたように感じました。
参加者の興味・議論は以下のように大別されると思います。
・MLOpsなど運用に関連するもの
・テストなど品質に関連するもの
・セキュリティ・セーフティに関係するもの
・プロセッサや計算手法などHW環境に関係があるもの
・要求管理などプロジェクト管理や、開発プロセスに関係するもの
という感じで大別できるかなと思います。
1年目比較しても、上記のそれぞれについて、取り組み中の企業や研究中の先生がいて、それを共有しながら各人が議論する、というようになってきたと思います。
MLOpsおよびモデルやデータの運用管理の盛り上がり
特に、運用系については前に参加した時以上に盛り上がっているように思いました。
データの管理・監視や、モデルの管理・監視の方法論やアノテーション・前処理の方法論など、機械学習を使ったサービス/システムを定常的に運用するための方法論については、議論が盛り上がっていたように感じました。
モデルの管理・モニタに用いるAWSのSageMaker Model Monitorや、
データやモデルのバージョン管理に用いるdvcなどが一例ですが、まだまだ「これが決定版！」という状態になっていないと思いますし、このようなツールがあっても、勘所がわからないとうまく運用できないと思います。
そこで、運用の方法論の体系化が求められていると思います。例えば、Concept Driftを題材に各人の捉え方・検知や対策の仕方を整理するといった、細分化して集中的に知見を集約することの意味があると思います。
問題の種類によっては、「学習の仕方」や「モデルの精度」は実行者が変わっても同じようになってきていると思います。一方、「運用の仕方」の方が個人差や企業ごとの差があるのではないかと思い、これが企業や個人の競争力になる時代だと強く感じます。
私自身の発表について
ポスターセッションで、「機械学習活用システムの開発プロセスで用いるガイドラインの試作と試行運用」というタイトルで発表しました。
世の中にある機械学習を使ったプロジェクトやシステムの開発ガイドライン（日本でもQA4AIなどのコミュニティが出しています）をさらに細かくして、数値目標を勇気をもって設定してみたという内容です。
予想以上に多くの方が聞きに来ていただき、関心がある人が多いことがわかり励みになりました。
機械学習を使った時の開発において「これをチェックしておくべき」というドキュメントはありますが、「大体これくらいのものになるべき」というものは凄く少ないように思います。
なぜならデータや問題のあらましによって「ケースバイケース」だからです。
それでは、経験がある熟練者にとってはよさそうですが、経験が浅い人が開発するときに戸惑ってしまうことも多いと思います。そのために敢えて具体的な指標を入れたガイドライン作成の取り組みです。
関心がありましたら下記のリンクに資料を置いておきますので参照ください。
なお、私は、企画セッションを１つオーガナイズしており、そちらでも有意義な議論を行いました。その結果は別途整理して記事にしたいと思います。
Discordベースでの会議開催が興味深かった
本会議は、Zoomで全員参加の講演を行い、参加者が部屋に分かれての議論やセッションはDiscord＋一部Zoomで行うという形を取りました。議論中のホワイトボードとしてMuralというwebアプリも併せて使いました。
Discordを初めてつかったのですが、slackのようなルーム型チャットの機能がありながら、Zoomのブレイクアウトセッションが常時ある感じでした。音声会議の参加者一覧などが常にブラウザで見える化されていることが特徴と感じました。
これにより、学会によくある「部屋を外からのぞいてみて盛り上がっていたら聞いてみる」という現象をうまくオンラインで実現していたと思います。
運営の皆様の準備や仕切りが素晴らしく、また参加者の皆さんの臨機応変な対応もあり新しい体験ができました。Discordでのイベント開催は、参加者のリモート会議経験が多い必要があると思いましたが、ら自分が幹事をしているコミュニティでもやってみたいと思いました。
最後に
機械学習工学研究会は、これからさらに盛り上がっていく研究コミュニティだと思います。前述通り、企業の人が極めて多いため、社会人が気軽に参加できます。slackやconnpass今後の予定が告知されていくので、お気軽に参加いただくことをお勧めします。（どこかでお会いしましたら声かけていただけますと幸いです）
この記事が気に入ったらサポートをしてみませんか？