カミナシ CountAI の”現場-in-the-Loop”戦略 -現場向け AI プロダクト開発の面白さと難しさ-
こんにちは！カミナシの井上です！
カミナシでは、現場向け AI プロダクト “カミナシ CountAI” を開発していますが、AI / 非 AI 領域を問わず、共に開発するエンジニアを募集しています！そこで、本記事では、カミナシ CountAI を題材にして、現場 x AI のプロダクトで AI の価値を向上させるカミナシの戦略をご紹介します。
本記事が以下に興味のある方に少しでもお役に立てれば幸いです。
・カミナシが AI でどんなことをしているのか？
・現場 x AI のプロダクトならではの面白さや難しさは？
・非 AI 領域のエンジニアが AI プロダクトの価値向上にどのように関わるのか？
はじめに
自己紹介
カミナシには、2023年10月に、私が CTO を務めていた StatHack が子会社化される形でジョインしました。
その StatHack もこの6月から StatHack カンパニー（≒ カミナシのAI事業部）としてカミナシに統合され、現在、私はカミナシの StatHack カンパニー CTO として、主に AI SaaS である “カミナシ CountAI” のプロジェクトの統括や AI 戦略の策定を担っています。
少し前の話をさせていただくと、私は機械学習を専攻する学生として、LLM（大規模言語モデル）を中心に AI が飛躍的に発展していく時代を経験しました。
同じ時期に StatHack を創業し、IT や AI のない製造現場を数多く目の当たりにしました。世の中に最先端の AI が劇的なスピードで広がっているのに、必要としている現場に全く届いておらず、本来、人がやらなくても良いはずの労働を泥臭く行うしかない実状に違和感を覚えました。同時に、我々が人が創造的な活動に集中していけるように変えていかなければならないと強く思いました。
その思いは今も変わらず、現場に最強の武器としての AI を少しでも速く届けるために何をすべきか、日々、模索しています。
カミナシ CountAI について
カミナシ CountAI は、員数検査を AI により効率化し、検査記録を残す SaaS です。
員数検査とは、決まった数の製品が正しく揃っているか、数を確認する検査です。
具体例として、鉄筋の製造会社における員数検査について説明します。
鉄筋の製造現場では、製造された鉄筋が結束されて束単位で保管されており、各束は規定の本数が書かれた出荷荷札と紐づけられています。
出荷する本数が規定の本数に不足していることが出荷先で判明した場合、信用を損なうだけではなく、不足分の追加運搬コストや場合によっては全数検査のやり直しを行うリスクが伴います。
そこで、出荷する前に、束になっている鉄筋の本数が出荷荷札に記載の本数と同じであることを検査員が確認します。
員数検査は、通常、検査員による目視で行われているものの、本数が多いために時間がかかり数え間違いが起こることや検査記録が残らないことが課題としてあります。
カミナシ CountAI では、員数検査をスマホで撮影・AI 検査することによって効率化することに加え、いつ誰が検査をしたのか記録を残すことによりトレーサビリティを確保しています。
現在は、鉄鋼業界（鉄筋の出荷検査など）や仮設資材リース業界（建築足場の入出庫時の検査など）を中心にご導入いただいています。
カミナシ CountAI の “AI” が現場に届くまで
カミナシ CountAI の “AI” について
カミナシ CountAI では、スマホを使って数えたい製品の画像を撮影します。
その画像を入力として、AI は数えたい対象が画像中のどこにあるのかをすべて検出・出力することで検査数を得ます。
いわゆる、物体検知と似た枠組みの問題を解いていますが、通常、人が数えると時間がかかるような非常に多い数（100~500ほど）の物体が密に配置された状態で検出しなくてはならないという点で一般的な物体検知とは少し異なります。
カミナシ CountAI の “AI” のライフサイクル
カミナシ CountAI の “AI” ができるまでの各プロセスを説明します。
1. データの蓄積
まずは学習に使う画像データを収集します。
カミナシ CountAI では、ユーザーが日々検査する中で撮影した画像と既存AIの推論結果、および人による修正結果がクラウドに蓄積されており、これが学習データのもとになります。
2. モニタリング
顧客別に AI のパフォーマンスを監視します。
例えば、顧客ごとにどのような品種の製品でどの程度修正が起きているのかをリアルタイムで可視化しています。
モニタリングの結果に基づいて、どの AI モデルをどのようなデータで学習するべきか計画します。
3. 学習データの選定
蓄積した画像の中から学習に使えるデータを選定します。
カミナシ CountAI では、2024年6月現在、ひと月あたりおよそ2万枚もの検査画像が新たに蓄積されています。
これまで蓄積された画像すべてを使って学習を行おうとすると、時間がかかってしまい効率が悪いです。
また、蓄積されている画像はあくまで現場の検査業務の中で撮影された画像であるため、必ずしも学習にとって都合の良いデータばかりとは限りません。
そこで、蓄積された画像の中から AI モデルの性能を向上させる見込みの高いデータをサンプリングして学習に利用しています。
4. アノテーション
アノテーションとは、AI のお手本となるデータを作る作業です。
カミナシ CountAI では、選定した画像データに対して、鉄筋など数える対象を点でマークする作業を指します。
ユーザーが記録した検査画像については、AI が打ってユーザーが修正を加えた点がすでにあるため、これをもとにして弊社のアノテーターがより綺麗なアノテーションデータを作成します。
5. 学習
画像とアノテーションデータが揃ったら、これらを AI に学習させます。
6. 評価
学習後は AI が有効にデータを学習できたかを評価します。
あらかじめ、顧客ごとに学習に使わない評価用のデータを取り分けておき、 このデータに対する AI の精度を確認します。
ある特定の顧客だけではなく、すべての顧客で学習後のモデルが一定の品質を担保できていることを確認できた場合、次のデプロイに進み、そうでなければ、再度学習に戻ります。
7. デプロイ
学習させた AI モデルをプロダクトから使えるようにプロダクトのサーバーにデプロイします。
8. 運用
スマホアプリを通じて、ユーザーに AI モデルをお使いいただきます。
カミナシ CountAI が抱える未解決の課題
2023年10月にサービス提供を始めてから AI モデルの改善を重ねる中で、以上のような AI のライフサイクルを確立できたものの課題は盛り沢山です。
現在、カミナシ CountAI で最も大きな課題となっているのは AI の改善サイクルの速度です。
現在のカミナシ CountAI では AI の学習計画を起案してから、学習させた AI が顧客のもとに届くまでに 3 週間ほどかかることが多いです。
こんなにも時間がかかっているのは、現状の AI 改善プロセスでは人が携わる過程が多く、その過程一つ一つを最適化できていないことが主な要因であると考えています。
AI 改善プロセスにかかる時間を以下の図に示します。
AI の学習など人の関わらないところで時間がかかっているところもあるものの、学習データの選定やアノテーションなど、人が主体的に行っているタスクに多くの時間がかかっています。
また、これら一つ一つのプロセスを行う人物が同一であるとも限らないため、プロセスが人の手から手へと渡る過程でコミュニケーションコストが発生し、ここにも時間がかかってしまっています。
AI の精度向上のためには人によるフィードバックが不可欠であり、データ分析やモデルの評価の段階で柔軟な判断が求められることもあるため、人を完全に排除して AI を改善することは困難です。
しかし、前述のように現状では人の関わるプロセスで AI 改善の速度を落としてしまっています。
そこで、カミナシ CountAI では AI の改善プロセスに関わる人の活用方法を見直すことにしました。
現場-in-the-Loop 戦略
カミナシでは、AI 改善プロセスへの人の関わり方を見直すにあたり、”Human-in-the-Loop” というアイデアをもとにしています。ここでは、”Human-in-the-Loop” について説明するとともに、それを発展させたカミナシ独自の戦略として ”現場-in-the-Loop” と我々が呼んでいる概念について説明します。
Human-in-the-Loop
AI を作るプロセスにおいて、人的リソースの活用方法を最適化する戦略として ”Human-in-the-Loop” というものがあります。Human-in-the-Loop は、人と AI が互いに協調して効率的に価値を産めるような AI システムを指します。
ここでの”人”とは、AI の開発過程でアノテーションを行うアノテーター、データ分析や学習・評価などに携わる開発者に加え、運用過程でアプリケーションを通じて AI を利用するユーザーのことを指します。
ここでは、Human-in-the-Loop における人的リソース配置の最適化方法を大きく2通りのアプローチとして整理します。
1 つ目は、AI の改善プロセスの中で人が担っているプロセスをシステムに置き換えるアプローチです。
例えば、データの選定では能動学習（Active Learning）を利用することが考えられます。
能動学習は、AI モデルが効果的に学習するために最も情報価値の高いデータを選択するプロセスです。
情報価値の高さは、通常、既存の AI モデルの推論結果によるデータの不確かさや多様性に基づいて算出されます。
これによって、データの選定プロセスの大部分を自動化することができると同時に、より少ないデータで効率よく高いパフォーマンスを達成できるため、アノテーターの労力削減にもつながります。
また、データの処理や学習・評価といった開発工程からデプロイなど運用工程までを極力自動で処理できるパイプラインを作る MLOps もこのアプローチと言えます。
2つ目に、AI のAI の改善プロセスの中で人が担っているプロセスをシステムによって支援するアプローチです。
例えば、アノテーションではシステムによってアノテーターの負担を軽減することが考えられます。
カミナシ CountAI では、多くの場合、0の状態からアノテーションを行うのではなく、既存の AI による推論結果や現場の作業員による点の修正結果をもとにして、それらを修正する形でアノテーションを行えるようにしています。
こうすることによって、まっさらな状態からアノテーションをする場合に比べ、アノテーターの負担を軽減し、アノテーション作業の効率化を図っています。
このような複数のアプローチを組み合わせることによって、人を組み込んだ効率的な AI 改善プロセスを構築することを進めています。
ここでは簡単な説明をしましたが、Human-in-the-Loop の説明は以下の書籍が詳しいです。
Human-in-the-Loop から 現場-in-the-Loop へ
カミナシ CountAI では “Human” の中でも特に現場の人間（=ユーザー）に着目して、AI 改善サイクルを作ろうと考えています。
そうすることによって、持続的に AI の価値を向上させられると考えているからです。
AI プロダクトを作る中で、AI が現場を助けることばかりについ注視しがちになってしまいますが、現場が AI を助けるような仕組みになっていないと持続的に価値を届けられないと考えています。
例えば、検査業務の中で蓄積されるデータにおいて、作業者の個別の撮り方のクセが強く反映されてしまっていたり、作業者による修正結果に誤りが多かったりしてしまうと、学習データの選定やそれ以降の学習過程のノイズとなってしまう可能性があります。
一方、現場で質の高いデータが効率的に蓄積される仕組みを上手く作れれば、学習に有効なデータが蓄積される速度が速くなり、結果的に AI モデルの成長を促進することができます。
このような現場を AI の改善サイクルの中に適切に組み込む戦略のことを我々は “現場-in-the-Loop” と呼んでいます。
”現場-in-the-Loop” なシステムを作るためには ML エンジニア（機械学習分野のエンジニア）以外の力も非常に重要となります。
例えば、いくら AI にとって都合の良いデータを蓄積したいとしても、それが現場の作業者に手間のかかる追加タスクを要求するようなものでは検査の効率をかえって落としてしまうため本末転倒です。
したがって、あくまで検査業務の中で検査員が自然と AI の成長を助けるような UI/UX のアプリケーションを作ることが求められます。
具体的には、AI 検査後の人手による修正負荷を軽減し、積極的な修正を促せるような UI の開発や現場にまだ慣れない新人作業員でも他の作業員と同じ質の検査データの作成ができるような UX のデザインが施策として考えられます。
このような取り組みを通じて、カミナシ CountAI では、現場と AI が協調して、使うほどに AI の精度が良くなっていくシステムを作っていこうとしています。
最後に
以上のように、カミナシ CountAI では、現場と AI とが共存し、互いに助け合ってより大きな価値を生み出すようなシステムの構築を目指しています。
本記事では、カミナシ CountAI を題材にカミナシの AI 戦略を説明しましたが、カミナシは、この6月の StatHack との合併を機にますます多くの現場に AI を届けていきます。
すでにカミナシ CountAI に限らず、カミナシレポートを始め、他のカミナシプロダクトにも AI を導入する取り組みを進めています。
届ける AI は現場によって違えど、ここで説明したような AI の改善戦略は現場によらず共通するところも多いと考えています。
今回の合併で届ける現場が増えることによって、相乗効果を生み、より良い AI を速く現場に届けられることを期待しています。
最後に、ここまで説明してきたような現場とAIの共存を1日でも早く実現するために、我々は共に困難を乗り越えられる仲間を必要としています。
本記事を読んで、現場 x AI のプロダクト開発への参加に興味を持っていただけた方は、ぜひお気軽にご連絡ください。
カミナシと StatHack の合併にあたり、カミナシ StatHack カンパニー CEO 松葉の note もあわせてご覧ください。