Pythonでスレッドを用いて一括で全パッケージのアップデートをしたいと思っています。
しかし、下記のコードはGoルーチンやPythonでマルチスレッドで実行した時のように早くなりません。なぜ、遅くなってしまうのでしょうか?
#!/usr/local/bin/python3.4
import subprocess
import os
import threading
import re
def update(package_name):
os.system("pip3.4 install " + package_name + " -U")
s = subprocess.check_output(["pip3.4", "freeze"]).decode()
package_list = re.findall(".+(?===)", s)
package_list.extend(["pip", "setuptools"])
print(package_list)
for v in package_list:
threading.Thread(target=update, args=(v,)).start()
pip
はpythonなんで、通常のpythonのようにimport
ができるようです。 blog.ducky.io/python/2013/08/22/calling-pip-programmaticallypip install
を並列実行すると「速く」なるのでしょうか?ディスクI/Oやネットワーク帯域は限られます(というか物理的に1個)から、期待通りpipプロセスが並列起動されても、必ずしも全体処理が速くなる保証はありません。また並列起動数にも上限値を設けないと、並列化オーバーヘッドばかりが増大して結果的には遅くなります。