【まとめ編】AIプロジェクトを推進する上で「責任と権限」に関して事前に把握しておきたいポイント

2021年11月21日 17:04

はじめに

@yutakikuchi_です
本Noteは下記のエントリーに続く、"AIプロジェクトを推進する上で「責任と権限」に関して事前に把握しておきたいポイント"の最終回の投稿であり、「具体的に発生する課題とまとめ」について記載します。下記のNoteで3回に渡って、AIプロジェクトの進め方、AIプロジェクトの契約、AIプロジェクトに必要な人材と責任と権限のそれぞれについて投稿しています。

本Noteの位置付け

・第1回目「AIプロジェクトの進め方編」
　・https://note.com/yutakikuchi/n/n897227207a30
・第2回目「AIプロジェクトの契約編」
　・https://note.com/yutakikuchi/n/n831f54c4247a
・第3回目「AIプロジェクトに必要な人材と責任と権限編」
　・https://note.com/yutakikuchi/n/n15cd7cd5bbce
・第4回目「まとめ編」(本Note)
　・https://note.com/yutakikuchi/n/nc2e9a375e3cb

事前に本エントリーで記載する言葉の定義をします。

・責任 : 職務を遂行するにあたって負うべき義務の範囲
・権限 : 職務を遂行するにあたって試行できる権利の範囲
・PoC（プルーフ・オブ・コンセプト）: 仮説を立てて取り組み、技術的にAIモデルの実装で実現可能かを検証すること
・オフライン評価 : 開発環境などを利用して、過去データからAIモデルの適合率などの評価を行うこと。実施はオンライン評価をする前に実施する。一言で表すと開発環境でのAIモデルの技術定量評価。
・オンライン評価 : オフライン評価実施後、本番環境を利用してAIモデルがどれ程のビジネスインパクトをどれほど及ぼすか、複数のモデルを並列で試したA/Bテストを実施すること。一言で表すと本番環境でのAIモデルのビジネス定量評価。※オンライン評価でもオフラインと同様に技術定量評価を実施したりもしますが、ここではビジネス評価の意味で記載しています。

過去3回のNoteのまとめ

上記3つのNoteにも記載した内容ですが、過去3回の話をまとめると下記のようになります。

AIプロジェクトの進め方
・プロジェクトのプロセスを「探索的段階型」とし、繰り返し実施する必要がある
・ただし、繰り返し実施の際に、**誰がメインでAIプロジェクトの実行プロセスに対して責任と権限**を持ちながら進めるかを明確にする必要がある

AIプロジェクトの契約
・AIプロジェクトは不明瞭なポイントが多くあり、法的性質としては準委任型のほうが親和性が高いとされる
・ただし、準委任型の契約の場合でも、ユーザー・ベンダー間のAIプロジェクトの責任範囲を明確にする必要がある
・上記はあくまでも「実行責任」の話であり、「法的責任」の義務や瑕疵担保の話ではありません。

AIプロジェクトに必要な人材と責任と権限
・AIプロジェクトの範囲が広いので、複数人でチームを構成し実施する
・ただし、複数人で追うべき指標がそれぞれ独立する傾向があるので、誰がメインで最終的なビジネスKPIに対して責任と権限を持ちながら進めるかを明確にする必要がある

AIプロジェクトで発生する「責任と権限」に関する課題の具体例

ここで、上記の3つのNoteで説明した内容や課題が複合的に絡み、また下記の様々な条件下で発生してしまう責任と権限の課題について紹介します。特にデータサイエンスの部分にフォーカスを当ててます。前提として、下記の状態のプロジェクトであるケースを想定したものです。下記のようなケースは頻繁に起こりえるもので、AIプロジェクトとはこういったものです！と理解してしまえば終わりなのですが、後から大きな問題にならないよう、事前に責任と権限の所在をはっきりとさせておくと良いと思います。

・自社だけではAIプロジェクトの推進ができず、他社に「データサイエンス」を業務委託をするケース
・業務委託契約書の種別を「準委任型」で締結しているケース
・AIモデルを実装する「開発環境と本番環境が完全に独立」した状態で実施しているケース
・「データサイエンティストがオンライン評価に対して責任と権限を持っていない」と想定したケース
・ビジネスの改善KPIとオフラインのモデル評価指標が独立しているケース

下記では、アセスメントフェーズ以降、責任と権限の所存と配置が的確でない場合、また上記全ての条件が重なりあって起こる課題の2つを記載しています。

ケース1. データサイエンティストがユーザー企業のデータソースにアクセスする権限を持っていない

まず頻繁に見られる課題の1個目として、モデル検証前のプロセスにおいて、「データサイエンティストがユーザー企業のデータソースにアクセスする権限を持っていない」というものがあります。この課題はAIプロジェクトのプロセスおよび人材スキルの観点から考えた際の責任と権限としてはデータサイエンティストがデータに直接アクセスしてモデルの検証を行うというのが本来あるべき状態ですが、外部メンバーのユーザー企業側が保有するデータへのアクセスが付与されないことが多く、こういった場合はデータエンジニアの方にお願いをして、データサイエンティストがアクセスできる環境にデータをコピーして上げる必要があります。

このケースだと、データエンジニアの方もコピー可能(共有可能)な一部のデータをデータサイエンティストに共有することとなってしまい、仮にデータが不足している場合など何度も両者間でやり取りが発生したり、またデータ機密性の観点からデータサイエンティストが必要とするデータが共有できないといった、モデルの精度改善に対しての責任は持っているが権限が無く実行できないことになってしまいます。

ケース2. データサイエンティストがオンライン評価としてのサービスKPI改善に対して責任と権限を持っていない

2個目の課題は、モデルのオンライン評価を実施するプロセスにおいて、「データサイエンティストがオンライン評価としてのサービスKPI改善に対して責任と権限を持っていない」というものになります。この課題はかなり複雑であり、下記3つの原因があると考えています。1点目として、KPI改善の責任をビジネスメンバーが担っているものの、ビジネスメンバーがモデルの改善プロセスの実施や本番環境での作業などスキル的に実施が難しく権限も無いという原因、2点目としてオフライン評価とオンラインでの改善KPIの指標が独立していること、3点目として上の課題と同じように本番環境でのモデル実施結果に直ぐにアクセスできないというものになります。

この課題はプロジェクト推進している3者間で責任ボールが落ちてしまい、誰も次の解決に向けたアクションが取れなくなってしまう可能性があります。データサイエンティストの観点からすると、オンライン評価に対しての責任と権限の両方を持っていないにも関わらず、改善の実施をアクションとしてを求められてしまうと悲惨なので、事前に責任と権限の与え方を考慮する必要があります。

上の課題について、解決策はあるの？

AIプロジェクトの進め方、契約面、人材の3つの観点と具体的に起こり得る「責任と権限」の課題について長々と触れてきましたが、いかがでしたでしょうか。

ちなみに本ブログは課題の共有による対策を考えておきたいポイントを記載するのが目的でしたが、課題は分かったが解決策はあるのか？という質問を受けそうなので事前に答えておくと、銀の弾丸は無いということになると思います。

個人の経験として、AIプロジェクトがユーザー企業で全て内製化、また実装環境面も独立せずに一つのPlatformやデータ基盤で集約されているようなケースにおいては、権限と責任の範囲をデータサイエンティストに寄せることで解決できたこともありますが、この方法を選択するとデータサイエンティストの責任と権限が肥大化していくため、プロジェクト内での人的リソース課題という別の問題に直面したりします。

上のように全て内製化できず、データサイエンスを業務委託する場合についても、担当のデータサイエンティストに対して元データの参照権限、(更にはモデル改善の指標だけではなく)ビジネスKPIの改善についても権限と責任を付与して実施するという手段もありますが、セキュリティリスクの壁、データサイエンティストの稼働時間が大きくなり結果として業務委託費用が非常に高くなる、外部の企業へのスキル依存度合いが非常に高くなりいつまでも内製化できないなど、様々な課題をクリアしなければなりません。

勿論、ビジネス・データエンジニアの方々がデータサイエンスの知識を身につけてオンラインでのKPI改善評価プロセスを責任と権限を持ってやるという判断もあると思いますが、メンバーに対する学習コストが非常に高くなる傾向があると思います。

質問したい

本Noteについて質問されたい場合はTwiter，もしくはFacebookへお気軽にDMでご連絡ください。
・https://twitter.com/yutakikuchi_
・https://www.facebook.com/yuta.kikuchi.007