windows環境限定での話になりますが、Unityの3Dゲームの開発中に発生したユーザー操作による不具合の再現性を高めるためにいくつかの方法で操作ログをもとにユーザーのPC操作を再現するツールを開発or捜索しております。
操作再現に必要な条件:
- Unity側のプログラムの設定としてマウスカーソルの実体座標が移動できないようにロックを行っています。
※Unityカーソル制御について - マウスのクリック/移動量/ポインタの座標/キーボード入力などの事前に記録したログを再現できるようなプログラムを開発可能か
- 開発したユーザー操作再現のスクリプトで実際にマウス操作(ポインタ移動/クリック/ドラッグ)とキーボード操作がUnity側へ正常に反映できるか
以上のような要件で評価しています。
python以外の方法も模索しており、有力候補として有償ソフトウェアのMacro Recorderなどを運用する方法も検討しておりますが、内製ができる可能性の調査としてpythonを含む複数の言語で調べています。
pythonに関して
PyAutoGUIを試しましたが、マウスの移動量を再現するMove/MoveTo系を試験したところ、Unity側でマウス実体座標が固定されていることに起因すると思われる移動操作の失敗(Unity側の画面にマウス操作が反映されていない)を確認しました。
クリックやキーボード操作系はすでに動作することが確認できており問題ありませんが、マウス移動プログラムだけはpython内で実現できない可能性が出てきました。
そこでpython3系でマウス移動を制御できるライブラリもしくはプログラムを探しており、以下の種類を発見しました。
発見済みのライブラリ:
#1
import mouse
mouse.move("500", "500")
#※https://github.com/boppreh/mouse#api
#2
import win32api
pos = (200, 200)
win32api.SetCursorPos(pos)
まだ試験開発の途中でPyAutoGUI以外のこの2種の評価が済んでおりませんが、
もし他にライブラリなどございましたら教えていただけますでしょうか。
2022/10/26追記:
追加で発見した資料を追記していきます。
DirectX等ゲーム用環境上でPyAutoGUIが機能しないことについて
ライブラリPyDirectInput