0

Pythonのマルチプロス間で通信をする場合、以下2つの方法があるようです。

Python multiprocessing.Queue vs multiprocessing.manager().Queue()

(日本語訳は引用者によるもの)

  • multiprocessing.Queue は受け渡しが高速だが共有メモリで問題が発生する可能性がある
  • multiprocessing.manager().Queue() は受け渡しが若干遅くなるが、共有メモリの問題を回避します

ここで述べられている「共有メモリで問題が発生する」というのは、具体的にはどのような問題を意味するのでしょうか?値の順序が逆転するような問題なのか、プログラムがクラッシュするような致命的な問題なのかなどが分かりません。

UDPとTCP/IPの違いに似たものなのかと感じたのですが、どうなのでしょうか?
より詳しく「共有メモリで発生する問題」というのが、どのようなものを意味しているのか知りたいです。

1
  • 1
    "which can lead to issues like race conditions and deadlocks." と書かれているように見えます。
    – cubick
    Commented 2023年12月25日 1:10

1 件の回答 1

1

ここで述べられている「共有メモリで問題が発生する」というのは、具体的にはどのような問題を意味するのでしょうか?値の順序が逆転するような問題なのか、プログラムがクラッシュするような致命的な問題なのかなどが分かりません。

プログラムクラッシュ、順序逆転などのケースも発生する可能性があります。

並行処理のプログラムの問題は、ある処理の途中で割り込まれて別のプロセスやスレッドの処理が実行されることにより起因することが多いです。割り込まれた処理の変数などの状態がいつのまにか書き変わるケースを常に頭において設計、実装、試験を行う必要があります。

(日本語訳は引用者によるもの)

  • multiprocessing.Queue は受け渡しが高速だが共有メモリで問題が発生する可能性がある

この理解自体は間違っていないと思いますが、multiprocessing.Queue自体の問題ではなく、
1)使用するプログラムの設計や実装に不備
2)メモリ不足や操作ミス(共有メモリの削除)
により、共有メモリで問題が発生する可能性があります。

※ multiprocessing.Queue自体は正しく使用すれば競合を防ぐよう実装されているようです。

  • multiprocessing.manager().Queue() は受け渡しが若干遅くなるが、共有メモリの問題を回避します

この理解自体も間違っていないと思いますが、multiprocessing.manager().Queueは共有メモリを使っていないので、共有メモリの問題が発生しないのは当然ですが、競合などの問題が発生するリスクは残ります。
このリスクも、使用するプログラムの設計や実装に不備、ネットワーク障害によるもので、multiprocessing.manager().Queueに起因する問題ではないです。

※以上はmultiprocessing.Queue自体、multiprocessing.manager().Queue自体に残存バグがないとは言っていません。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。