【python】マウス、キーボードを自動操作！pyautoguiの便利な使い方３つ！

近年、マウス、キーボード操作を自動化するRPAという技術が注目されています。

このRPAは、こちらも近年注目されているプログラミング言語【python】でも実装することが可能です。

pythonでこのRPAを実行（マウス、キーボードを自動操作）するには、pyautoguiというライブラリを用います。

というわけでこの記事では、pyautoguiの便利な使い方３つをご紹介していきます。

◆この記事で紹介する内容

・フルパスで指定した任意ファイルを開く方法

・デスクトップから指定したアイコン画像のアプリを開く方法

・google検索で指定urlのwebサイトを開く方法

※WIndows10で実行していくことを想定しています。

MACの場合は少々変更が必要です。

それでは早速やっていきます！

必要なライブラリ
フルパスで指定した任意ファイルを開く方法
デスクトップの指定アイコン画像のアプリを開く方法
google検索で指定urlのwebサイトを開く方法
おわりに

必要なライブラリ

◆pyautogui

⇒マウス、キーボード操作を実行するライブラリ

◆pyperclip

⇒文字のコピー&ペーストをするときに使用

◆time

⇒アプリの起動待ちなどを行うときに使用

インストールしていない場合はまずはインストールから始めましょう。

【pyautogui インストール方法】

などと検索すればすぐにインストールできるはずです。

フルパスで指定した任意ファイルを開く方法

ライブラリのインストールができたら、早速コードを書いていきましょう。

まずはフルパス指定した任意のファイルを開いてみましょう。

◆サンプルコード①

#ライブラリインポート
import pyautogui as pg
import pyperclip as ppc
import time
#緊急停止ON
pg.FAILSAFE=True
#フォルダを指定
path ="C:\\Users\\Desktop\\VBA3.xlsm"
#ここに入力して検索をクリック
pos=pg.locateOnScreen('search.JPG' , confidence=0.9)
pg.click(pos,duration=1)
#指定フォルダの貼り付け
ppc.copy(path)
pg.hotkey('ctrl', 'v')
time.sleep(1)
#指定フォルダを開く
pg.press("enter")
pg.press("esc")
time.sleep(5)
#windowを最大化
pg.hotkey('win', 'up')

なお、このコードを実行するフォルダ内には以下のようなWindows検索窓の画像をsearch.JPGとして保存しておく必要があります。

⇒ご自身で準備しておきましょう。

⇒この画像と一致した場所をクリックしてくれますので、この検索窓を非表示にしている人は動作しませんのでご注意ください。

要は、このコードでは、上の画像を画面から探し出し、指定したフルパスを入力⇒ファイルを開くという作業を行っているわけです。

こいつを実行すれば、デスクトップ上にあるVBA3.xlsmというファイルを開くことが可能です。

デスクトップの指定アイコン画像のアプリを開く方法

次はデスクトップにある任意のアプリを開いてみましょう。

今回はエクセルを開いてみようと思います。

先ほどと同様にデスクトップに置いてあるエクセルアイコンを、pythonコードの実行フォルダに保存しておきます。

以下の画像をexcelicon.JPGとして保存してあります。

⇒この画像の場所をクリックしにいくことになります。

あなたの状況下にあわせて適切な画像を準備しましょう。

◆サンプルコード②

#ライブラリインポート
import pyautogui as pg
import pyperclip as ppc
import time
#緊急停止ON
pg.FAILSAFE=True
#デスクトップ表示
pg.hotkey('win', 'd')
time.sleep(1)
#エクセルアイコンをダブルクリック
pos=pg.locateOnScreen('excelicon.JPG' , confidence=0.9)
pg.doubleClick(pos,duration=1)

アイコン画像を任意のものに変更すれば、どんなアプリでも開くことが可能です。

google検索で指定urlのwebサイトを開く方法

次はデスクトップに置いてあるGoogleアプリを開いて任意のurlのサイトを開いてみましょう。

まずはデスクトップのGoogleアプリのアイコン、開いた直後にGoogleアプリのurl欄に表示されている画像をそれぞれ準備してコードの実行フォルダに保存しておきます。

◆デスクトップ上のGoogleアイコン画像

◆Google検索のurl欄

⇒これらの画像の場所をクリックしにいくことになります。

あなたの状況下にあわせて適切な画像を準備しましょう。

#ライブラリインポート
import pyautogui as pg
import pyperclip as ppc
import time
#緊急停止ON
pg.FAILSAFE=True
#url指定
path ="http://higashisalary.com"
#デスクトップ表示
pg.hotkey('win', 'd')
time.sleep(1)
#デスクトップのGoogle検索を開く
pos=pg.locateOnScreen('googleicon.JPG' , confidence=0.9)
pg.doubleClick(pos,duration=1)
time.sleep(5)
#url指定欄をクリック
pos2=pg.locateOnScreen('googleurl.JPG' , confidence=0.9)
pg.click(pos2,duration=1)
time.sleep(1)
#urlを入力
ppc.copy(path)
pg.hotkey('ctrl', 'v')
time.sleep(1)
pg.press("enter")

EdgeでもIEでも状況に応じて画像を変更すれば、問題なく動作するはずです。

ぜひトライしてみましょう。