見出し画像

MLSE 夏合宿 2022 参加レポート

marisakamozz

Money Forward CTO室AI推進部の森です。6月30日から7月2日にかけて開催されたMLSE 夏合宿 2022に参加して来たので、概要・感想などをまとめます。

機械学習工学研究会（MLSE）とは

MLSEホームページより。

機械学習工学研究会（MLSE）は、機械学習システムの開発・運用にまつわる生産性や品質の向上を追求する研究者とエンジニアが、互いの研究やプラクティスを共有し合う会です。
2018年度より、日本ソフトウェア科学会の公式研究会として正式に発足しました。

私が持っているMLSEのイメージは、AIを社会実装する上で直面する課題についてビジネスとアカデミアが一緒に議論する会という感じです。
参加者間で集中的に議論を行うため毎年夏に数日間の合宿を開催しており、今回は５回目になります。今回を含めて直近の３回はオンラインで開催されています。

プログラム概要

connpassを参照してください。

発表内容

基調講演: 神嶌 敏弘（産総研）　「機械学習と公平性」

  • Sources of Unfairness in Machine Learning

    • 公平でない（偏った）予測が生まれる原因は以下の三つに大別される。

      1. Data / Annotation Bias

      2. Sample Selection Bias

      3. Inductive Bias

  • Formal Fairness

    • センシティブ情報・その他の特徴量・目的変数の間の関係が社会的に望ましい条件を満たすことを「Formal Fairness」という。

    • 以下の３種類のFormal Fairnessが存在する。ここではAssotiation-based Fairnessについて詳しく紹介する。

      1. Assotiation-based Fiarness : センシティブ情報・その他の特徴量・目的変数の関係性（または独立性）に基づいて評価するFairnessの考え方

      2. Counterfactual Fairness : センシティブ情報と目的変数の因果関係に基づいて評価するFairnessの考え方（例：もしも男性だったら（女性だったら）大学に合格していたか？）

      3. Economics-based Fairness : 経済学（ゲーム理論）に基づいて評価するFairnessの考え方

  • Assotiation-based Fairness

    • 公平性の判断基準として以下のようなものがある。

      • Fairness through Unawareness

        • そもそもセンシティブ情報は学習時に利用しないという考え方。二つの問題がある。

          • Red-lining Effect : その他の特徴量からセンシティブ情報が推測できてしまうことがある。

          • もしも不公平な状況になっていたとしてもわからなくなる。

      • Group Fairness : 特定のグループの中で公平性を判断するもの

        • Statistical Parity

          • センシティブ情報と予測が独立であることを基準とするもの（例：男女で、予測の分布に差がない）

        • Equalized Odds / Separation

          • 観測結果が与えられた元でセンシティブ情報と予測が独立であることを基準とするもの。（例：合格者の中であれば、男女で予測の分布に差がない）

        • Sufficiency / Calibration

          • 予測が与えられた元でセンシティブ情報と観測結果が独立であることを基準とするもの。（例：合格すると予測されたグループの中で、男女で合格者の分布に差がない）

    • これらの公平性基準を複数同時に満たすことはできない。（満たそうとすると意味のないモデルができてしまう）

  • まとめ

    • どの公平性基準を満たせば社会的に公平と言えるかのコンセンサスは得られていない。

    • このモデルはどのような公平性基準に基づいて評価したかということを明示するというのが現時点で実施可能なレベル。

感想

Fairnessというと倫理や政治的な問題だと思っていましたが、数学的に公平性の基準が整理されているということを初めて知りました。また、それらの基準を同時に満たすことはできず、どの基準を満たせば社会的に公平だと判定されるのかはコンセンサスが得られていないことを知りました。
Money Forwardが今後データを活用していく際には、今回学んだFairnessの考え方を取り入れていきたいと思いました。

基調講演: Krzysztof Czarnecki（カナダ Waterloo大学）　「Safety of AI-enabled systems: the case of automated driving (tentative)」

  • 画像分類のタスクを例にして自動運転のようなクリティカルなタスクにおいてType1 / Type2の考え方を取り入れたワークフローを提案

    • 低レベルなDNNモデルで判断を行い、確信度が高ければそれを採用する

    • 確信度が低ければ、時間的な余裕があるかどうかを判断し、なければ安全側に倒す

    • 時間的な余裕があればいくつかの低レベルなDNNモデルで情報を収集し、最終的に高レベルなAIモデルで判断を行う

感想

英語リスニング能力の低さを痛感した次第です。

基調講演: 杉山阿聖（Citadel AI / マネーフォワード）　「Introduction to MLOps: 機械学習アルゴリズム以外のさまざまな課題とその取り組みについて」

  • MLOpsとは何か

    • MLOpsの登場

      • Google Cloud Next 2018で登場した概念

      • 自動化だけではなく、品質や組織論を含む

    • DevOps

      • Dev vs Ops から Dev and Ops へ

        • インフラ構築に多くの手作業が必要だった時代、顧客に新しい価値を提供したいDevと顧客に安定的なサービスを提供したいOpsが対立していた。これを「顧客に価値を素早く安定的に提供しよう」という流れに変えるのがDevOps。

      • SRE

        • トイル：プロダクションサービスを動作させるために必要な手作業の数々

          • 増えすぎるとモラルの低下や摩擦の発生を生む

        • 自動化によってトイルを削減し、インフラをコードで管理する（Infrastructure as Code）

    • MLOps

      • ML vs DevOps

        • ML（新たなモデルをデプロイしたい） vs Dev（小さく開発したい）

        • MLを組み込むのは大変な仕事であり、未知の存在になりがちで設計が困難

        • モデルを組み込む作業の見積りが大きくなり、典型的な機能開発に対して優先度が下がる

      • MLOps

        • MLとDevOpsの間の対立を解消し、成果をスケールさせる取り組み

        • MLには様々なトイルが存在する（EDA, Feature Engineering, Training, Evaluation...）

        • それらは技術的な負債を生みがち

        • TFXのようなデザインパターンを活用するか、Vertex AIのようなクラウドサービスを利用して技術的負債を解消する

        • 最近は「Data-centric AI」のようにモデルを中心に据えたアーキテクチャーから、データを中心に据えたアーキテクチャーへの移行が見られる

  • 機械学習パイプラインによる継続的学習

    • Pipeline : 機械学習モデルを生成するのに必要な一連の処理を行うもの

    • Feature Store : 機械学習モデルの訓練時と推論時で同じ特徴量を使えるようにするためのストレージ

    • ML Metadata Store : パイプラインとその入出力の管理を行う

    • 直面している課題に応じて必要なコンポーネントを導入する

  • パイプラインの外にある問題

    • テストの自動化

      • 様々なクラウドサービスの登場によって機械学習パイプラインの構築は一般的になったが、テストの自動化は課題が残っている

    • ライブラリの移行

      • TensorFlowやPyTorchが肥大化し、JAXに注目が集まっている

    • Fairness

      • 差分プライバシーは知られつつあるが、DP-SGDは10から100倍遅いなど、取り組みはこれから

    • Code maintainability

      • データサイエンティストの各コードはプロダクションでは使えない

    • Team

      • MLのわからないエンジニア vs テストがわからないデータサイエンティスト

      • 研究開発からデプロイまでの長い工程

      • ジョブローテや組織的な理解・バックアップが必要

    • Monitoring and Observability

      • プロダクション環境における検証

      • データ品質の定義と測定

        • データセットにおける誤り検出手法などをプロダクション環境のデータに適用

        • Active Learningも一つの解

    • MLOpsの本質は「機械学習システムの運用を楽しい仕事にすること」

      • MLOps : 「AIを育てる活動」（機械学習オペレーションWGキックオフ2022）

感想

  • MLOpsは単に手作業を自動化するということではなく、様々な役割を担った関係者がユーザーに価値を届けるという一つの目標に向かってコラボレーションするという取り組みであるということがよくわかりました。

  • 前日機械学習オペレーションWGにも参加しましたが、MLOpsは「AIを育てる活動」という発言があり、とてもよい表現だと思いました。

  • MLOpsの考え方の根底にあるものは、Money ForwardのValueやCultureにも通じるものがあり、こういった考え方を会社全体に浸透させていきたいと思います。

その他のセッション

滋賀大学河本先生の招待講演：「データ分析・AIを実務に活かす データドリブン思考」やスポンサー講演、ポスター発表などに参加しました。かなり濃密な３日間でした。

全体を通した感想

  • 今回初めてMLSEに参加しましたが、学術界とビジネスの橋渡しを行う取り組みとしてとても有意義な活動であると感じました。

  • 参加者は実ビジネスにAIを適用する上で開発・運用にわたって様々な課題に直面しており、各社の取り組みはとても参考になりました。

  • 特に今回基調講演でも発表があった「Fairness」と「MLOps」はMoney Forwardにとっても大きなテーマであり、今後も継続して学会や各社の取り組みを追っていきたいと思います。

  • ITベンチャーやWebサービス事業者からの参加は少ないようでした。

  • 今後機会があれば、Money Forwardでの取り組みもMLSEで共有できればよいと思います。

この記事が気に入ったらサポートをしてみませんか？