3

Pythonでスレッドを用いて一括で全パッケージのアップデートをしたいと思っています。
しかし、下記のコードはGoルーチンやPythonでマルチスレッドで実行した時のように早くなりません。なぜ、遅くなってしまうのでしょうか?

    
#!/usr/local/bin/python3.4
import subprocess
import os
import threading
import re


def update(package_name):
    os.system("pip3.4 install " + package_name + " -U")

s = subprocess.check_output(["pip3.4", "freeze"]).decode()
package_list = re.findall(".+(?===)", s)
package_list.extend(["pip", "setuptools"])
print(package_list)

for v in package_list:
    threading.Thread(target=update, args=(v,)).start()

    
4
  • ちなみに、pipはpythonなんで、通常のpythonのようにimportができるようです。 blog.ducky.io/python/2013/08/22/calling-pip-programmatically
    – monkut
    Commented 2015年3月6日 6:19
  • importしてやってみましたがエラーが出ました。 Commented 2015年3月6日 6:59
  • 1
    そもそもの前提として、pip install を並列実行すると「速く」なるのでしょうか?ディスクI/Oやネットワーク帯域は限られます(というか物理的に1個)から、期待通りpipプロセスが並列起動されても、必ずしも全体処理が速くなる保証はありません。また並列起動数にも上限値を設けないと、並列化オーバーヘッドばかりが増大して結果的には遅くなります。
    – yohjp
    Commented 2015年3月6日 16:39
  • GILを解除するのに時間がかかっていることは考えられるのでしょうか? Commented 2015年3月7日 3:46

1 件の回答 1

3

これは回答ではないのですが、Python の GIL について、例えば以下のコードを実行すると、

from threading import Thread
import os

def sleep(n):
  os.system("date; echo " + str(n) + "; sleep 1")

for n in range(0,10):
  Thread(target=sleep, args=(n,)).start()

結果は以下の様になります。

Fri Mar  6 22:30:35 JST 2015
0
Fri Mar  6 22:30:35 JST 2015
1
Fri Mar  6 22:30:35 JST 2015
Fri Mar  6 22:30:35 JST 2015
3
4
Fri Mar  6 22:30:35 JST 2015
Fri Mar  6 22:30:35 JST 2015
5
2
Fri Mar  6 22:30:35 JST 2015
7
Fri Mar  6 22:30:35 JST 2015
8
Fri Mar  6 22:30:35 JST 2015
6
Fri Mar  6 22:30:35 JST 2015
9

どうやら、os.system() の実行時には GIL が外される様です。

Message 103280 - Python tracker

It locks the buffer because os.system() releases the GIL when calling system().

1
  • ソースコードを見たらGILを解放してたので、遅いのは別の原因ですね。GIL関連で何かオーバーヘッドがあるのかもしれませんが。
    – h2so5
    Commented 2015年3月6日 13:59

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。