Pythonにて Seleniumで、あるURLのアクセスをThreadPoolExecutorにて並列4 taskで実行するscriptを組んでいるのですが、実行時から約1時間ほどは期待通りのタスクが次々に完了していくのですが、macの画面がscreen saverに切り替わった時、あるいはmacをある1時間ほど放置しているとThreadPoolExecutorのタスクが急激に遅くなり目的のtaskが時間内に完了できません。下記にThreadPoolExecutorを使った、実行の行をコピーしました。ThreadPoolExecutorを使ってタスクの優先度をscreen saverなどに影響されないようにできないものでしょうか?
追加でテストした結果、 max_worker = 4, max_worker = 3いずれも 2668個のtask後に停止していました。(全taskは約3500)
with ThreadPoolExecutor(max_workers = 4) as executor:
futures = [executor.submit(selenium_wo_head,url_u, t, url_l) for t in code_key_list]
result = [selenium_drive_without_head.result() for selenium_wo_head in futures]
実行環境:
MacBook Pro
macOS Monterey