【Python】PyAutoGUIでマウスとキーボード操作を自動化

はじめに

今回は、汎用性の高いマウスとキーボード操作の自動化をご紹介します。
具体例として、Google Chromeで新規タブを開いてお気に入りバーにあるサイト（今回は一番左にあるyoutube）を表示する操作を自動化してみます。
動画をご希望の方は以下のリンク先でご視聴ください。また、記事本文には個別のコードの解説を画像付きで記載しています。

今回やりたいこと（プログラム実行後の画面）

自動化のプログラムには、PythonのパッケージPyAutoGUIを用いています。PyAutoGUIのインストール方法や機能の概要は公式ドキュメントをご参照ください。

コードの全体像

今回紹介するコードは以下のとおりです。（実質4行です）

# pyautoguiを以後'pa'として使えるようにインポート
import pyautogui as pa

# 左メニューバーにあるGoogle Chromeの座標（事前に確認※）をクリック
pa.click(x=20, y=135) 

# command + t を同時に押し、新規タブを開くショートカットを実行
pa.hotkey('command','t')

# Google Chromeのお気に入りバーの一番左にあるYoutubeの座標をクリック
pa.click(x=110, y=115) 


# ※以下のコードで事前にクリックしたい場所の画面上の座標を確認しておく
# x, y = pa.position()  # current mouse x and y
# print(x, y)

個別の解説

１つずつ解説していきます。

# pyautoguiを以後'pa'として使えるようにインポート
import pyautogui as pa

パッケージpyautoguiを'pa'として使えるようにインポートします。

# 左メニューバーにあるGoogle Chromeの座標（事前に確認※）をクリック
pa.click(x=20, y=135) 

左のメニューバーにあるGoogle Chromeの座標をクリックします。

# command + t を同時に押し、新規タブを開くショートカットを実行
pa.hotkey('command','t')

⌘ + T（Windowsの場合はCtrl + T）を同時に押して、新規タブを開くショートカットを実行します。

# Google Chromeのお気に入りバーの一番左にあるYoutubeの座標をクリック
pa.click(x=110, y=115) 

最後に、Google Chromeのお気に入りバーの一番左にあるYouTubeの座標をクリックします。

【参考】画面上の座標の調べ方

# ※以下のコードで事前にクリックしたい場所の画面上の座標を確認しておく
# x, y = pa.position()  # current mouse x and y
# print(x, y)

pa.position()で現在のマウスがあるx軸とy軸の座標を取得できるので、２つの変数（ここではx, y）に代入して出力することで確認できます。

おわりに

今回は、Pythonを用いたマウスとキーボード操作の自動化をご紹介しました。対象の作業をマウス操作とキーボード入力で定義できれば、汎用性の高い自動化が期待できます。自動化してみたい作業があれば、ぜひコメント欄へお願いします！