PyAutoGUIの画像認識にてパソコンの作業を自動化したいと思っております。
locateOnScreenにてデスクトップのアイコンを認識させることはできたのですが、
デスクトップの背景が変わると認識しなくなります。
grayscale、confidenceは試してますので、それ以外の方法はありますでしょうか?
import pyautogui
import time
x, y = pyautogui.locateCenterOnScreen("icon1.png",grayscale=True,confidence=0.8)
pyautogui.click(x, y, clicks=2)
while pyautogui.locateCenterOnScreen("icon2.png",grayscale=True,confidence=0.9) is None:
time.sleep(1)
x, y = pyautogui.locateCenterOnScreen("icon2.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y + 50)
pyautogui.write('ID入力')
pyautogui.press('tab')
pyautogui.write('パスワード入力')
pyautogui.press('enter')
while pyautogui.locateCenterOnScreen("icon3.png",grayscale=True,confidence=0.9) is None:
time.sleep(1)
x, y = pyautogui.locateCenterOnScreen("icon3.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y)
while pyautogui.locateCenterOnScreen("icon4.png",grayscale=True,confidence=0.9) is None:
time.sleep(1)
x, y = pyautogui.locateCenterOnScreen("icon4.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y)
while pyautogui.locateCenterOnScreen("icon5.png",grayscale=True,confidence=0.9) is None:
time.sleep(1)
pyautogui.write('1')
pyautogui.press('enter')
pyautogui.write('3')
pyautogui.press('enter')
pyautogui.write('4')
pyautogui.press('F12')
while pyautogui.locateCenterOnScreen("icon6.png",grayscale=True,confidence=0.9) is None:
time.sleep(1)
pyautogui.press('F2')
pyautogui.press('enter')
pyautogui.press('enter')
pyautogui.press('enter')
pyautogui.write('1')
pyautogui.press('enter')
pyautogui.write('03')
pyautogui.press('enter')
pyautogui.press('enter')
while (pyautogui.locateCenterOnScreen("icon7.png",grayscale=True,confidence=0.99)) is None:
x, y = pyautogui.locateCenterOnScreen("icon8.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y)
time.sleep(5)
パスのコピー
で取得出来ます。ユーザー名が含まれるパスなら、ユーザー名までの部分を環境変数のUSERPROFILE
から取ってきてパス名を組み立てれば良いでしょう。