見出し画像

【EzAvater】マウス操作で画像を取得する時のコツ(RPA画像認識)

皆さん、こんにちは!
少しずつ寒くなってきましたね。身に着けるものの中でマフラーが一番好きなアイテムなので、早くちょうどいい寒さにならないかな~、と待ち焦がれているRobo-SAT RPAディレクター2人目のⓄです。(寒いのは得意ではないです)


今回はRPAで画像認識操作を利用する際の、画像の切り取り方のコツをご紹介します!

画像認識はIT知識を持っていなくても、直感的に操作(画像の取得)をしてRPAシナリオを作ることができるため、非エンジニアの方にとって利用しやすい機能です。

しかし、実際に画像でシナリオを作ってRPAを実行したところ、「途中で止まってしまった!」ということは少なくないと思います。

さて、以下の2つの画像ですがこの2つは同じ画像でしょうか?

画像①
画像②

同じ画像のように見えますが、画像をよーーーく見ていただくと、右下の「閉じる」ボタンの縁の色が異なっています。

ボタンの縁がグレー
ボタンの縁が青

ボタンの縁がグレーの時と青の時では、ロボットは違う画像として認識します。
そのため、例えばRPAシナリオ作成時に「閉じるボタンの縁がグレー」の状態で画像を取得した場合、シナリオ実行時も「閉じるボタンの縁がグレー」だった場合には正常に動きます。逆に、シナリオ実行時に「閉じるボタンが青」だった場合には同じ画像として認識されず、エラーとなってしまいます。

今回の例ようにボタンの縁の色が変わる場合や、そのほか縁の線が太くなったり点線になったりするような場合には、下の画像のように、可変部分の画像を取得しないことでエラーを回避することができます。

色の変わる部分を除いた画像取得

画像認識の機能を使ったシナリオが安定しない、エラーで停止することが多いという方は、ご紹介しました方法で画像を取得しなおしていただければと思います。
皆さまが作成したシナリオが安定的に稼働しますように!

この記事が気に入ったらサポートをしてみませんか?