0

PyAutoGUIの画像認識にてパソコンの作業を自動化したいと思っております。

locateOnScreenにてデスクトップのアイコンを認識させることはできたのですが、
デスクトップの背景が変わると認識しなくなります。
grayscale、confidenceは試してますので、それ以外の方法はありますでしょうか?

import pyautogui
import time

x, y = pyautogui.locateCenterOnScreen("icon1.png",grayscale=True,confidence=0.8)
pyautogui.click(x, y, clicks=2)

while pyautogui.locateCenterOnScreen("icon2.png",grayscale=True,confidence=0.9) is None:
    time.sleep(1)

x, y = pyautogui.locateCenterOnScreen("icon2.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y + 50)
pyautogui.write('ID入力')
pyautogui.press('tab')
pyautogui.write('パスワード入力')
pyautogui.press('enter')

while pyautogui.locateCenterOnScreen("icon3.png",grayscale=True,confidence=0.9) is None:
    time.sleep(1)

x, y = pyautogui.locateCenterOnScreen("icon3.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y)

while pyautogui.locateCenterOnScreen("icon4.png",grayscale=True,confidence=0.9) is None:
    time.sleep(1)

x, y = pyautogui.locateCenterOnScreen("icon4.png",grayscale=True,confidence=0.9)
pyautogui.click(x, y)

while pyautogui.locateCenterOnScreen("icon5.png",grayscale=True,confidence=0.9) is None:
    time.sleep(1)

pyautogui.write('1')
pyautogui.press('enter')
pyautogui.write('3')
pyautogui.press('enter')
pyautogui.write('4')
pyautogui.press('F12')

while pyautogui.locateCenterOnScreen("icon6.png",grayscale=True,confidence=0.9) is None:
    time.sleep(1)

pyautogui.press('F2')
pyautogui.press('enter')
pyautogui.press('enter')
pyautogui.press('enter')
pyautogui.write('1')
pyautogui.press('enter')
pyautogui.write('03')
pyautogui.press('enter')
pyautogui.press('enter')

while (pyautogui.locateCenterOnScreen("icon7.png",grayscale=True,confidence=0.99)) is None:
    x, y = pyautogui.locateCenterOnScreen("icon8.png",grayscale=True,confidence=0.9)
    pyautogui.click(x, y)
    time.sleep(5)
17
  • 1
    動かない状態で構わないので、現状のコードを質問に追記してください。
    – cubick
    Commented 2022年9月7日 11:02
  • コメントありがとうございます。コード追加しました。方法はPyAutoGUIでなくても構いません。宜しくお願いします。 Commented 2022年9月7日 23:14
  • 現状はこのコードで動きます。ただデスクトップの背景が変わると認識しなくなります。画像を2値化して認識させる方法などあるみたいですがどこにどう組み込めばいいのかわかりません。 Commented 2022年9月7日 23:22
  • 例えば1番最初のダブルクリックによる起動が出来ないということならば、こちらの記事を参考に実行させてみれば良いと思われます。【Python】ショートカットファイル(.lnk)の正式なファイルパスを取得する 記事はスタートメニューのアイコンですがデスクトップならそのアイコンをシフトキー併押下の右クリックで出てくるパスのコピーで取得出来ます。ユーザー名が含まれるパスなら、ユーザー名までの部分を環境変数のUSERPROFILEから取ってきてパス名を組み立てれば良いでしょう。
    – kunif
    Commented 2022年9月8日 2:28
  • あるいは画像認識でやりたいなら、これらの記事 How do I find an image on screen ignoring transparent pixels, matchTemplate() とかの応用でOpenCV等で認識して位置を取得するなどしてみてはどうでしょう?
    – kunif
    Commented 2022年9月8日 5:34

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。