Power Automate for desktopの"レコーダー"をメッチャ主観で褒めちぎってみる

出戻りガツオ🐟

2022年10月2日 22:36

こんにちは！
出戻りガツオ🐟です。こちらの動画をご覧ください。

PythonでUI Automationを使って、Windowsプログラムの自動化を検証した動画です。

勝手にRPACommunityの企画「Power Automate for desktop 教室 vol.1～きぬあさ先生と生徒あきイカ～」とコラボしたPython Verを作った結果になります🙇

このPythonのコードめっちゃ頑張って、「自分マジ凄いわ🐟」ってなりましたが、実はPower Automate for desktopを使わないとできなかった内容になっています。

活躍したもの、それはPADの「レコーダー」機能です。
ここでPADのレコーダー機能がいかに凄いか！
noteを書かせてください！

UI Automationとは

Microsoft UI オートメーションは、Windowsのアクセシビリティフレームワークです。デスクトップ上のほとんどの UI 要素へのプログラムによるアクセスを提供します。スクリーンリーダーなどの支援技術製品を使用すると、UI に関する情報をエンドユーザーに提供し、標準入力以外の方法で UI を操作できます。また、UI オートメーションにより、自動テストスクリプトが UI と対話できるようになります。

UI オートメーションの概要

正直かなり理解が浅いのですが「UI Automationというものを使えば、デスクトップにある要素へアクセスできますよ」という内容です。
ここについて書くと終わらないので割愛します。

ざっくりとした流れ

めっちゃくちゃ割愛して書くとUI Automationのラッパーを生成して

import comtypes
from comtypes import CoCreateInstance
import comtypes.client
from comtypes.gen.UIAutomationClient import *

COM でのオブジェクトの作成
CoCreateInstance という汎用関数を利用
CUIAutomation オブジェクトよりIUIAutomation インターフェイスを公開
DLLとして実装されたCOMサーバを検索

def __init():
    global __uia, __root_element
    __uia = CoCreateInstance(CUIAutomation._reg_clsid_,
                             interface=IUIAutomation,
                             clsctx=comtypes.CLSCTX_INPROC_SERVER)
    __root_element = __uia.GetRootElement()

という流れで自動化ができます。自動化テストをPythonでやりたい、というニーズがない限り、ここは読み飛ばしてください。

デスクトップの最上位から「デスクトップの要素」にアクセスし、自動化する準備ができるわけであります。

しかーし！

自動化するためには「Name」か「AutomationId」が必須！！

下準備ができても、要素を指定してコントロールするには、何かしら指定のアクションが必要です。

ここでlearnを見てみると・・・

既知の要素の検索
既知の要素 (その Name、AutomationId、または他のプロパティまたはプロパティの組み合わせによって識別される) を検索する方法として、 FindFirst メソッドを使用する方法が最も簡単です。検索する要素がアプリケーションウィンドウである場合は、検索の開始点を RootElementにすることができます。

UI オートメーション要素を検索するこの方法は、自動化されたシナリオテストの最も有用な方法になります。

UI オートメーション要素の取得

平たく言うと、NameやAutomationIdといったプロパティを調べることが必要になります。

ですが・・・
これを調べるためにはWindows SDKに付属のInspect.exeツールを使用したりと、またひと手間かかります・・・

ブラウザの自動化は、ブラウザの開発者ツール( [ F12 ]おして出てくる黒い画面)使えば、めちゃ簡単に必要な要素を取得できるのですが、道のりが遠い・・

しかし！！
PADなら！！！
Power Automate for desktopなら！！！！！！！

レコーダー機能で一発でできる！！！！

[ レコーダー ]起動して、クリックするだけ！！！
ここから主役のPower Automate for desktopの出番です！！！