8

マルチプロセスとマルチスレッドについて調べていると、デッドロックの危険があるので混在させるのはfork()後即exec()させる場合を除いて厳禁といった趣旨の記事がいくつか見当たりました。

記事の理屈はよくわかるのですが、これはPythonのthreading.Threadmultiprocessing.Processの場合でも同様なのでしょうか?


[Kenji Noguchiさんのコメントを受けての追記]
下記のテストコードを試してみました。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-


import time
from multiprocessing import Process


def other_proc_func(name):
    while True:
        time.sleep(1)


print('Hello {}'.format(__name__))


if __name__ == '__main__':
    for i in range(10):
        name = 'Proc{}'.format(i)
        p = Process(target=other_proc_func, args=[name])
        p.deamon = True
        p.start()

    while True:
        pass

この時、print('Hello {}'.format(__name__))はプロセスを生成した回数分呼び出されました(__name__ == '__main__'なのは初めの一回のみ)。別のモジュールからプロセスを生成した場合でも、トップレベルのモジュールから再実行が行われていました。
Python側がProcess.targetの関数を呼び出す際に、fork()でプロセスのコピーを行った後に、exec()でPythonを再実行しているように見えます。

これは参考文献にある、"意訳: fork()してライブラリ関数を呼び出さずにexec()すればOK"というケースに該当しそうに思うのですが、どうなのでしょうか?Pythonのソースコードを当たるべきかもしれませんが。

3
  • Pythonでもデッドロックは起きますね。forkしてからスレッドを作れば安全な気もしますが...。 Commented 2017年6月23日 4:22
  • evanjones.ca/fork-is-dangerous.html によれば、Pythonでもクラッシュを引き起こせるとありますね。この記事ではマルチプロセスとマルチスレッドではなく、親プロセスでsqlite3を使ってos.fork()で生成した子プロセスでurllib2を使った、という例のようですね。 Commented 2017年6月24日 11:53
  • straceで調べてみました。fork()でプロセスのコピーを行った後に、exec()でPythonを再実行しているように見えます。⇒私の環境では、fork()していません。clone()を使っています。exec()も呼ばれていませんでした。その代わりソースファイルをreadし直していました。システムコールのfork/execでPythonの振る舞いを類推するのは危険な気がしてきました。 Commented 2019年11月14日 6:29

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。