表題の件につきまして質問をさせていただきたいです。
状況
インストーラーファイル(.exe/.msi)を開いた状態で、セットアップを自動化できないかと思い、Pythonのモジュールであるpyautoguiを用いてクリック操作するようプログラムを作ってみたのですが、クリック操作が反応しない現象が発生し対応に困っている状況です。
現在の挙動・エラー内容
・locateOnScreen()で指定したクリックの対象にマウスカーソルが移動されているのは確認できている。
→ただなぜかクリックしてくれない。
・インストーラー以外のファイル(例:Microsoft Edge)はクリック操作等問題なくできていることが確認できている。
・click()した時の戻り値を確認したらNoneと出てきてしまう。
・pyファイルを実行した際、エラーが出てこないので画像認識自体できていないのかが判別つかない
試したこと
・そもそもコーディングに誤りがある可能性もあるので、別のアイコンをクリックする処理を実装してみた。
→問題なくクリックすることができた。
・認識対象の画像が悪い可能性があるため、キャプチャしなおした
・locateOnScreen()の引数にconfidenceを導入しているため、精度の調整を図った。
・locateOnScreen()からclick()まで、たまに認識が間に合わずクリック操作が空回りすることがあるため、間にtime.sleep(1)を設け余裕を持たせた。
・対象のインストーラはマウスクリックで進めるほか、キー入力でも進めることができるので(「次へ(N)」みたいに)、
click()をhotkey('alt', "n")に変更した。
→これら試してみましたが、いずれもNGでした。
今回サンプルで用意したインストーラーはCubePDFになるのですが、
pyautoguiではこのようなインストーラーの操作はそもそもできないようになっているのでしょうか?
関連する記事がなかったものでして、原因が何なのかわからなくなってしまいましたので、ぜひとも皆様のお力を頂戴したく存じます。
よろしくお願いいたします。
#モジュールインポート
import time
import pyautogui as pag
def main():
try:
#CubePDF
event = pag.locateOnScreen([クリック対象のキャプチャファイルパス(絶対パスで指定しています。パスの直前にrを入れてます。)])
time.sleep(1)
pag.click(event)
except Exception as e:
print(e)
if __name__ == "__main__":
main()