AI Builderの「物体検出」で遊んでみた。

気ままに勉強会でAI Builderについて学んだので、さっそく「物体検出」機能を使って遊んでみました。

気ままに勉強会のAI Builderについてのスライドはこちら。
（物体検出については、168ページから。）

（注意！）
・AI Builderを使用しますので、有償ライセンスが必要です。
・特定の商品に関して、宣伝および貶める意図はありません。

何を検出しよう？

今回の題材はコレ

みんな大好き「タフグミ」を検出してみることにしました。
グミを食べてて、自分の好きな味が少ないと悲しいですよね？
なので、それぞれの味が何個ずつ入っているか「物体検出」機能を使って数えてみようと考えました。

ちなみに業務用途で考えると、商品開発部門や品質管理部門などで、数種類ミックスした商品が想定通りの個数入っているか確認するのに使えるのではないかと思います。
（過去に、工場でテストした数百袋の商品を開封して、目視で内訳を数えた経験あり）

検出する物体の画像を収集

まずは、トレーニング用の物体の画像を集める必要があります。
角度などを変えながらひたすら撮影。（今回は68枚撮影）
本当は背景も変えたほうがいのですが、今回は割愛。

モデルの作成

1枚ずつ、タグ付けしていきます。
これ、物体を四角で囲う必要があるのですが、オーバー目に囲ったほうがいいのか、小さ目がいいのかちょっと分かりませんでした。

モデルの有効性はいまいち（赤丸は有効性が低い）ですが、とりあえずこれで進めます。

クイックテストをしてみます。
精度はやっぱり微妙ですね。重なりがあると完全アウトです。

フローにしてみる

こんな感じで通知されるように設定しました。

フローはこんな感じ

※2023.1.31フローを修正しました。
一度OneDrive for Businessにアップし、アップした画像をAI Builderに渡してあげないと処理されませんでした。（コンテンツタイプが指定されないため）
Miyakeさん、ありがとうございました。
https://twitter.com/MiTo60448639/status/1620057005452066816?s=20&t=b_nvik3ygYtqzTdzQg1wmQ

業務用途の場合は、Excel OnlineやSharePointリストに保存するといいかもですね。

まとめ

トレーニングをもっとしっかり行えば精度は上がっていきそうです。
タフグミの場合、目視でも物体検出でもスピードはあまり変わりませんが、マーブルチョコのような細かいものだともっと意味が出てきそうです。

追記（2023.01.31）

Power Appsなら、同じ内容が3分で作れちゃいました。
しかも処理も一瞬。
こっちのほうがおすすめですね。

作り方は、下記ページの後半。

モデルを使用する - Training