UiPath Academy　RPAデベロッパー基礎㉒ UI 操作の自動化(詳細)

今日もUiPath Academyの「RPAデベロッパー基礎」で学習していきます

Studio を使用した UI 操作の自動化

UI 操作の自動化は 7 つの主要な概念を基に構築

1⃣UI Automation アクティビティ

• コンテナー - プロセスが処理対象とするブラウザーまたはアプリを識別するアクティビティ
  [ブラウザーを開く]、[ブラウザーにアタッチ]、[アプリケーションを開く]、[アプリケーション/ブラウザーを使用]

• 入力アクティビティ - 入力を UI 要素に送信するアクティビティ
  [クリック]、[チェック]、[文字を入力]、[ホットキーを押下]

• 出力アクティビティ - GUI 要素から情報を取得するアクティビティ
  さまざまなメソッドの利用によるテキストの取得、構造化データの取得、または画像を含む UI 要素の取得をロボットに指示する

• 同期アクティビティ - UI の動作に基づくトリガーを作成するときに役立つ
  これにより、あるマシンで特定のイベントが発生したときにロボットが何らかのアクションを実行できる

2⃣アクティビティのプロパティ

他の種類のアクティビティと同様に、プロパティはロボットがアクションをどのように実行するのかを決定

3⃣ターゲット メソッド

ターゲット メソッドはプロパティのサブセットであり、ロボットが操作する UI 要素の識別方法を複数提供

• [セレクター]

• [あいまいセレクター]

• [画像]

• [ネイティブ テキスト]

4⃣入力メソッドと出力メソッド

【入力メソッド】

ハードウェアイベント
●クリック: マウス カーソルが画面上を移動
●入力: 個々の文字の入力にキーボード ドライバーが使用される
●すべてのアプリケーションに対応
●バックグラウンドでは動作しない
●Attended オートメーション ユーザーは、自動化されたプロセスの実行中にマウスまたはキーボードに触れることができない

ウィンドウメッセージ
●マウス/キーボードの使用時に対象のアプリケーションが受信するウィンドウ メッセージを送信
●バックグラウンドで動作
●自動化されたプロセスの実行中に、ユーザーは他の作業に取り組むことができる

シュミレート
●対象のアプリケーション (API レベル) のテクノロジーを使用して指示を送信
●最速のターゲット メソッド
●バックグラウンドで動作
●自動化されたプロセスの実行中に、ユーザーは他の作業に取り組むことができる

Chromium API
●DevTools Protocol に基づく、ブラウザー操作の自動化の入力メソッド
●ブラウザーと直接通信することにより、通信チャネルを減らし、オートメーションの信頼性を向上させることができる
●バックグラウンドで動作
●自動化されたプロセスの実行中に、ユーザーは他の作業に取り組むことができる

【出力メソッド】

フルテキスト
●フルテキスト メソッドは既定で使用されるメソッドであり、ほとんどのケースで十分に役立つ
●最も高速で、非表示テキストを抽出できる
●100% の精度を備え、バックグラウンドで動作

ネイティブ
●ネイティブ メソッドは、グラフィックス デバイス インターフェイス (GDI) を使用するアプリケーションと互換性があり、グラフィカル オブジェクトの表示には Microsoft API が使用される
●非表示のテキストは抽出せず、バックグラウンドで動作しない
●フルテキストと同様に仮想環境をサポートしない

OCR
●OCR (光学文字認識) は、仮想環境および画像からのテキストの「読み取り」を扱う唯一の出力メソッド
●そのテクノロジーは、各文字とその位置の認識に依存
●バックグラウンドで動作せず、非表示のテキストを抽出できない、その速度は非常に低速

5⃣レコーダーとスクレイピング ウィザード

レコーディングは Studio の重要な機能の 1 つであり、業務プロセスを自動化する際に時間を大幅に節約することができる

この機能を使用すれば、ユーザーが画面上で行う操作を簡単にキャプチャしてシーケンスに変換することができる
これらのプロジェクトは修正や部品化することができるので、他のプロセスで必要な場合に簡単に再利用することができる

スクレイピング ウィザードを使用すると、ブラウザー、アプリケーション、またはドキュメントから、データベース、.csv ファイル、さらには Excel スプレッドシートに、構造化データを抽出することができる

6⃣オブジェクト リポジトリ

オブジェクト リポジトリでは、プロジェクト間で共有可能なオブジェクトとして UI 要素をリポジトリ内にキャプチャすることで、UI 要素の管理性、再利用性、信頼性を確保

オートメーション プロジェクト内部、および複数のオートメーション プロジェクト間で、UI の分類データの作成・再利用が可能

7⃣AI Computer Vision

AI Computer Vision アクティビティ パッケージには、基本的な UI Automation アクティビティ ([クリック]、[文字を入力]、[テキストを取得] など) がリファクタリングされて含まれている

この AI Computer Vision アクティビティが従来のアクティビティと大きく異なる点は、当社マシン ラーニング部門の独自開発による Computer Vision のニューラル ネットワークを使用している点

ニューラル ネットワークでは、セレクターを使わずに、ボタン、テキスト入力フィールド、チェック ボックスなどの UI 要素を識別できる

重要なポイント

●UiPath の UI 操作の自動化の主要概念は、UI Automation アクティビティ、アクティビティのプロパティ、ターゲット メソッド、入力メソッドと出力メソッド、レコーダー、オブジェクト リポジトリ、Computer Vision です。
●UI Automation アクティビティ - コンテナー、入力アクティビティ、出力アクティビティ、または同期アクティビティがあります。
●アクティビティのプロパティ - ロボットがアクションをどのように実行するのかを決定します。
[プロパティ] パネルにあります。
●ターゲット メソッド - ロボットが操作する UI 要素の識別方法を複数提供します。
●入力メソッドと出力メソッド - UI 要素の操作に使用されるテクノロジーの種類を定義します。
出力メソッドは、UI 要素からのデータの抽出 (一般にはテキストとして抽出) に使用されます。
入力メソッドで使用されるテクノロジーは、出力メソッドで使用されるテクノロジーとは異なります。
●レコーダーとウィザード - この機能を使用すれば、ユーザーが画面上で行う操作を簡単にキャプチャしてシーケンスに変換することができます。
●オブジェクト リポジトリ - オブジェクト リポジトリでは、プロジェクト間で共有可能なオブジェクトとして UI 要素をリポジトリ内にキャプチャすることで、UI 要素の管理性、再利用性、信頼性を確保します。
●AI Computer Vision - セレクターを使わずに、ボタン、テキスト入力フィールド、チェック ボックスなどの UI 要素を識別できます。

#Uipath まとめ｜いしまる｜note