Power Automate DesktopでUI要素が取れない場合のフローの作り方

最近、会社のRPAソフトをPower Automate Desktop（以下PAD）に乗り替えるべく奮闘をしています。
PADでは「UI要素」というもので要素を認識しています。
ところが、会社で使っているアプリでUI要素が取れないという事態に直面しました。
一度は諦めかけたのですが、Twitterにてヒント（というかほぼ答え）をいただき解決することができたので記録を残しておきます。
教えてくれたのは、鈴(@pythonexcel)さんです。

Tweets by pythonexcel

画像認識による自動化

過去に使用したRPAソフトでは「画像認識」という機能があったのでPADもあるはずとは思っていたのですが、見つけられずにいました。
これは「マウスとキーボード」の中の「マウスを画像に移動します」が画像認識のアクションでした。

あくまで画像認識なので誤認識は多いです。コツとしては、全画面にしてから操作することです。（これも鈴さんの受け売り）

キーの送信

先ほども書いたように画像認識は誤認識が多いです。
ではどうしたら良いかというと、キー操作できるところはひたすらキー操作を行います。
こちらは「マウスとキーボード」の中にある「キーの送信」を使います。

みんな大好きTabキーの操作も可能です。
とにかく「この操作ってショートカットキーでできたっけ？」と、ひたすら考えていきます。

尚、うまくいかないときは「キー入力の間隔の遅延」を10→100とかにするとうまくいくことが多い印象です。

適宜Waitを入れる

キーの送信で自動化する場合、ページが表示されるのを待ってくれたりはしないので、適宜Waitを入れて調整してください。（「遅延」→「Wait」）
これはトライ＆エラーです。

まとめ

UI要素取れないときは、画像認識とキー操作でできるよ。
でも、UI要素取れるときみたいにスマートにはいかないし、いろいろコツはいるよ。

尚、安定性の検証はこれからです。