IEの通知バーをWinActorのOCRマッチングとUIオートメーションで操作してみたハナシ

今どきIEなんて使ってんじゃねーよー！
…はい、ごもっとも😭
それでも作らなくてはいけない大人の事情があるのですよ😂

操作の対象はこれです ↓

Ver.7の新機能としてOCRマッチングやUIオートメーションが増え、シナリオ作成の選択肢の幅が広がりました。

今まで一般的だったであろうエミュレーションでの操作と、OCRマッチング、UIオートメーションについて検証してみました😆

まず全体の流れはこんな感じ。

初心者の方のために補足ですが、「ダウンロードファイル保存」の部分については、操作が安定するので自動記録アクションのライブラリがオススメ。

この部分です ↓

「名前を付けて保存」ウィンドウが表示されたことを確認してからファイルパスを入力した方が安定するので、「ウィンドウ状態待機」を挟みます。

ファイル名に設定するフルパスは、事前に変数で作っておいてくださいね😘

では、検証参ります！！✊✨

■王道：エミュレーション

こちらは検索すると情報が色々出て来るので説明は省きます😳
こんな感じ。

■Ver.7.1から追加されたOCRマッチング

OCR…どこまで読み込めるの…(*´д｀*)ﾄﾞｷﾄﾞｷ
OCRマッチングは、ノードパレットにあります。

イメージ画像とウィンドウ識別名の設定は画像マッチングとかと同じ。

「保存」って文字、認識するかなぁ…
マッチング文字列の値⇒に「保存」と入力して…

【テスト実行】を (。・Α・)σﾎﾟﾁｯ ▶

おぉぉぉぉーーー！！認識したーーーー！！🙌✨
が、そこじゃない🤣

【保存(S)】ボタンが、どう認識されているのかを確認。

結果表示はこんな感じ。

まぁまぁ文字化けしてるけど、どう指定すればいいのかわかれば問題なし🥳
【保存(S)】ボタンは…

これかーー！
「保存(5)」と認識されているでござる。
このウィンドウ、コピペができるの とってもありがたい🤩

ではこのOCRが認識した文字を、改めてマッチング文字列に設定。
再度テスト実行！

ｷﾀ――――――――――――(ﾟ∀ﾟ)――――――――――――!!

テンションあがりすぎて忘れそうですが、今回クリックしたいのは
【保存(S)】ボタンではなく、その横の【▼】…

プロパティの説明にも書いてありますが、「マウス操作位置」を設定するときはテスト実行して対象文字列が赤枠で囲われた後に行います。

アクションで「左ボタンクリック」も忘れずに… ←自分が忘れたもよう🍑

続いて、【▼】を押した後の【名前を付けて保存(A)】の操作。
同じようにOCRマッチングで設定します。
(イメージ画像を「即時」から変えるのお忘れなく🥳)

さて、こちらはどう認識されたか…(*´д｀*)ﾄﾞｷﾄﾞｷ

「名前を付けて保図」ーーー！！🤣

いいよ、毎回そう認識してくれるならｗ
OCRマッチングのプロパティはこんな感じ。

最後に、【×】(閉じる)クリック！
こちらは「ダウンロードの表示(V)」を目印にしましょうかね。

こちらは「ダ ウ ン ド の 表 小 ( v )」と認識されましたｗ

プロパティはこんな感じ。

それでは通しで実行します (。・Α・)σﾎﾟﾁｯ ▶

問題なく無事実行完了🙌✨

さて、文字化けしているだけに心配なのは「認識の仕方が変わってしまったら」🤔
複数のシナリオを修正するには、Ver.7から実装されたWSSで修正するのが楽なのかな～と思います。
※WSS(WinActor Scenario Script)についてはこちら

WSSで修正するためには、シナリオを新規作成するときに「WSS出力可能シナリオ」にしておく必要があります。

拡張子は「wss」です(今はVer.7なので「wss7」)。

テキストエディタで開くとこんな感じ。

うっ、ノンプログラマーにはあまり見たくない画面🙈

該当行はこんな感じ。

大量に修正するときには、該当箇所を置換してしまうといいと思います。
文字化けするので、実運用で使うかはともかく…😅
せっかくなので、実装されたWSSの紹介も兼ねて😘

ちなみに文字化けするのは、たぶんWinActorEyeと同じくMicrosoft OCRを使用しているのでWinActorのせいではありません😇

■Ver.7.2から追加されたUIオートメーション

来ました！UIオートメーション！(ちょっと疲れて来た🙊)

UIオートメーションは、ライブラリパレットにあります。

プロパティはこんな感じ。

「ウィンドウ識別名」はIEを選択。
「対象コントロール指定」で、▼をクリックします。

プロパティはこんな感じになります。

この後表示される「名前を付けて保存(S)」は……残念ながら認識しません😭

という訳で、代わりに「エミュレーションで文字送信」を配置。
(必要に応じて、前後に指定時間待機を挟んでください)

【×】はちゃんと認識しますよ！

プロパティはこんな感じ。

では、実行します (。・Α・)σﾎﾟﾁｯ ▶

こちらも問題なく無事実行完了🙌✨

ちなみに認識しないのは、Microsoft UI Automationを使用しているのでWinActorのせいではありません😇

Microsoftさま、がんばって😍

■3方法を試した所感

通知バーの操作は、OCRマッチングでは文字化けしてしまうので今のところは選択肢に入らないですね🤔
文字化けしないものの操作ならば、選択肢としてはめちゃくちゃありだと思います🤩

UIオートメーションが「名前を付けて保存」を押せたら…😭
そしたら完璧だった…😭

というわけで、今のところ(2021/2/16現在)は王道のエミュレーションで安定するし問題ないかなぁと感じました😆

安定性を高めるために、選択肢が増えるの大歓迎です🙌✨
WinActorEyeの検証がいまだできていないけど、いい感じに操作できたりするのかな？

かなりATさまが力を入れているようなので、トライアルライセンスの期限の残り2週間程で、試してみたいです🥳