0

Pythonにて Seleniumで、あるURLのアクセスをThreadPoolExecutorにて並列4 taskで実行するscriptを組んでいるのですが、実行時から約1時間ほどは期待通りのタスクが次々に完了していくのですが、macの画面がscreen saverに切り替わった時、あるいはmacをある1時間ほど放置しているとThreadPoolExecutorのタスクが急激に遅くなり目的のtaskが時間内に完了できません。下記にThreadPoolExecutorを使った、実行の行をコピーしました。ThreadPoolExecutorを使ってタスクの優先度をscreen saverなどに影響されないようにできないものでしょうか?

追加でテストした結果、 max_worker = 4, max_worker = 3いずれも 2668個のtask後に停止していました。(全taskは約3500)

with ThreadPoolExecutor(max_workers = 4) as executor:
    futures = [executor.submit(selenium_wo_head,url_u, t, url_l) for t in code_key_list]
    result = [selenium_drive_without_head.result() for selenium_wo_head in futures]

実行環境:
MacBook Pro
macOS Monterey

3
  • 2
    screen saver を無効化すればよいのではないでしょうか。
    – metropolis
    Commented 2022年10月4日 9:43
  • sleep(macでの名前は知りませんが)とかの性能や負荷を制御するタイムアウト設定がscreen saverと同じになっていたりしませんか?
    – kunif
    Commented 2022年10月5日 0:15
  • 皆様返信ありがとうございました。一部のデータにエラーがありそのエラー処理が抜けていてそれが途中で終了していたことが原因でした。失礼しました。threadで処理を行う際に、一旦Seriesで処理が正しく通るかを先に確認して実行するべきでした。動作前に os.system("caffeinate -u -t 12000 &")にて見積もり処理時間中にsleepさせないことを実行させれば、問題が解決できました。
    – n t
    Commented 2022年10月9日 7:46

1 件の回答 1

0

皆様返信ありがとうございました。一部のデータにエラーがあり、そのエラー処理が抜けていてそれが途中で終了していたことが原因でした。

threadで処理を行う際に、一旦Seriesで処理が正しく通るかを先に確認して実行するべきでした。動作前に os.system("caffeinate -u -t 12000 &") にて見積もり処理時間中にsleepさせないことを実行させれば、問題が解決できました。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。