UI.Vision RPAの個人的備忘録
皆さんこんにちは、今日はUI.Vision RPA（旧名：Kantu）の話です。UI.Vision RPAはウェブブラウザやデスクトップアプリケーションの自動化を支援するツールで、Robotic Process Automation (RPA)というものの一つです。Chromeの拡張機能として使えます。
基本的に公式の以下の動画をちゃんと見れば何とかなるんですが(英語の動画ですが日本語字幕も付けれます)全部見るのはだるいなぁという人向けに、というか自分の備忘録用にポイントだけおさえていこうと思います。
ChromeにUI.Visionを追加したらXModuleもインストールしよう
一応XModuleなくても拡張機能単体である程度使えるっちゃ使えるんですが、XClickやXTypeなど便利なコマンドが動かないので入れといた方がいいです。特にデスクトップの操作はこれがないと使えないので必須となります。
TableViewで複数行コピペするには？
TableViewで複数行の選択はできない？みたいなんですがSource View (JSON)タブの中身をコピペすれば一気にコピペできます。"Commands": [～]の部分ですね。
Record押しても記録されない操作がある
サイトによってはRecord押しても記録されなかったり、clickコマンドのselect押して選択してもTargetに何も取得できなかったりします。そんな時は手動で追加しましょう。面倒くさかったらXClickで良いと思いますが(クリックしたい場所のキャプチャで済むので)、通常のclickの場合はF12で開発者ツールを出して下の画像のようにCopy XPathしたものをTargetにxpath=～みたいに貼ればOKです。
特殊キー
UI.VisionRPAのXTypeでは特定のキー入力をシミュレートするために、特殊キー？を使用することができるみたいなのでメモがてら書いておきます。ちなみにXClickで入力したい場所をクリックしておかないと私はうまくいかなかったのでたぶんこの二つはセットなのかなと勝手に思ってます。
${KEY_ENTER}：エンターキー
${KEY_BACKSPACE}：バックスペースキー
${KEY_DELETE}：デリートキー
${KEY_UP}：上矢印キー
${KEY_DOWN}：下矢印キー
${KEY_LEFT}：左矢印キー
${KEY_RIGHT}：右矢印キー
${KEY_CTRL}：コントロールキー
${KEY_SHIFT}：シフトキー
また、組み合わせて使用することも可能です。
例えば${KEY_CTRL+KEY_A}：全選択（Ctrl+A）
${KEY_CTRL+KEY_C}：コピー（Ctrl+C）
${KEY_CTRL+KEY_V}：貼り付け（Ctrl+V）
これでコピペもできますね。わからなかったらブラウジング機能付きのAIチャットに聞いてみれば教えてくれると思います。たぶん。最近無料のwrtnってサービスでGPT-4選択した感じはぼちぼち教えてくれました。
あとXTypeつかわなくてもsendKeysコマンドに${KEY_ENTER}で行ける場合(サイトによる)もあるみたいですがあんまり成功率高くない印象。
HTMLファイルから実行されない
実はHTMLで書き出してダブルクリックで実行とかできるんですが、初期状態だとエラーになると思います。
その時はChromeの「拡張機能を管理」からUI.Visionの「詳細」へ行き「ファイルのURLへのアクセスを許可する」ONにするとHTMLから起動できるようになります。
デスクトップの操作について
ブラウザ以外のデスクトップの操作もXClickとXTypeで可能なのですが、設定をいじる必要があります。右上の歯車マークの設定からVisionタブの「Desktop Automation」のほうにチェックを入れます。また、このモードだとRecordボタンは使用できないので用途によって使い分けてください。
ひとまずはこのくらいですかね。これだけ使えればだいぶ自動化できると思います。何を自動化させるかっていうアイデアは必要ですが。
IT系の仕事の人はテスト自動化とかこれでやったら割といいんじゃないでしょうか。
ではでは、今回はこの辺で。またどこかでお会いしましょう。
この記事が気に入ったらサポートをしてみませんか？