見出し画像

Power Automate for desktopのAI レコーダーで自然言語からフローを作ってみました。

kinuasa

Microsoft Build 2024で発表された、Power Automate for desktop(PAD)の「AI レコーダー」機能がついに私の環境でも使えるようになったので、さっそく試してみました。

※本記事で紹介しているのは 2024年9月時点 でプレビュー段階の情報です。今後仕様が変更される可能性がありますので、その点はご注意ください。


AI レコーダーとは

Microsoft Learnの資料では以下のように説明されています。

Building desktop flows is now easier than ever with the AI Recorder, also known as Record with Copilot, in Power Automate desktop. This feature lets you build desktop automations by sharing your screen and describing the task you want to automate, as if you were explaining it to someone else. The AI Recorder captures your voice, mouse, and keyboard inputs during the recording. Then, it processes them and converts them into a desktop flow. You can review, edit, and save the flow before running it.

Power Automate for desktopのAI レコーダー(Copilotによる記録とも呼ばれます)を使用することで、デスクトップフローの作成がこれまで以上に簡単になりました。この機能を使用すると、画面を共有し、自動化したいタスクを他の人に説明するかのように描写することで、デスクトップの自動化を構築できます。AI レコーダーは録画中の音声、マウス、キーボード入力を取り込みます。その後、それらを処理してデスクトップフローに変換します。実行する前に、フローを確認・編集・保存することができます。

https://learn.microsoft.com/en-us/power-automate/desktop-flows/create-flow-using-ai-recorder?WT.mc_id=M365-MVP-4029057 より

要するに、この機能を使うことで“自然言語からフローを作成できる”わけですね。

要件

2024年9月時点では本機能を利用するのに下記環境が必要となります。

  • 米国環境

  • 職場、または学校アカウント

  • Power Automate for desktop バージョン 2.48 以上

AI レコーダーの使用方法

※下記は英語版のWindows 11上で動作確認とキャプチャーを行っています。

1. ホーム画面で「Record with Copilot」を選択し、「Start」ボタンをクリックします。

2. レコーダー画面が表示されるので、「New recording」ボタンをクリックします。

3. 記録に使用する画面とマイク、スピーカーを選択し、「Next」ボタンをクリックします。

4. レコーディングの説明を聞き、準備ができたら「Record」ボタンをクリックします。

5. レコーディングが開始されます。自動化したい作業を、誰かにその方法を教えるかのように説明します。詳細に説明すればするほど、より良い結果が得られます

6. 記録が終わったら、「Done」ボタンをクリックします。

7. Power Automateの方で動画やナレーション、マウスの動きを分析してフローを作成します。この処理には数分かかります。

8. 分析が完了すると、フローデザイナーに自動的に作成されたフローが表示されます。内容を確認し、必要に応じてフローを編集します。

9. フローを実行し、AI レコーダーによって記録された作業が行われることを確認します。

実行画面

実際にAI レコーダーを使用した際の動画が下記になります。

Microsoftが公開しているデモ

下記はMicrosoftが公開しているデモ動画です。

注意事項

AI レコーダーは、自動化する作業について説明しながら話す必要があります。また、記録中はクリックやキーボードを使って操作する必要があり、マウスやキーボードの操作無しに画面上で話すだけでは下図のようにエラーが発生してフローを作成することができません。

おわりに

驚愕のデモ動画公開から数か月、ついに私の環境でもAI レコーダーを試すことができました！
実際に試してみると、思うようにナレーションが記録できずに苦労したのですが、これは私の英語力の無さ、発音の悪さが原因だと思います。

AI レコーダーによって生成されたフローは思った以上に正しく動作しました。
もちろん手直しする必要はあるのですが、レコーダーで生成したフローをたたき台とすることで、ゼロからフローを作成するよりも早く作成できるのではないでしょうか。

残念ながら現時点では日本語による記録ができないのですが、Microsoft Learnの資料によると、より多くの地域と言語をサポートするべく取り組んでいるそうなので、日本語対応が今から待ち遠しいですね！✨

2024/10/8 追記：

2.48 以降のバージョンであってもホーム画面で「AI レコーダー(Record with Copilot)」が表示されないことがあります。

その場合は「言語と地域」設定から言語設定を英語に変更してください。

参考資料


この記事が気に入ったらサポートをしてみませんか？