Skip to main content
タイトルを編集
リンク
htb
  • 2,027
  • 3
  • 15
  • 35

Python:マルチプロセス マルチプロセスで処理する際、例外をキャッチした上で処理を継続したいです

ソース リンク
yuji38kwmt
  • 1,854
  • 1
  • 25
  • 54

Python:マルチプロセスで処理する際、例外をキャッチした上で処理を継続したいです

やりたいこと

以下のコードのように、Pythonのmultiprocessing.Poolを使って並列に処理したいです。

import multiprocessing

def foo(i):
    if i%2==0:
        raise RuntimeError("偶数")
    return i

with multiprocessing.Pool(4) as p:
    result = p.map(foo, [1, 3, 5])
    print(result)
    # => [1, 3, 5]

質問

以下のように[1,2,3]をmap関数に渡すと、i=2のときにRuntimeErrorがスローされます。

with multiprocessing.Pool(4) as p:
    result = p.map(foo, [1,2,3])
RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/home/vagrant/.pyenv/versions/3.9.7/lib/python3.9/multiprocessing/pool.py", line 125, in worker
    result = (True, func(*args, **kwds))
  File "/home/vagrant/.pyenv/versions/3.9.7/lib/python3.9/multiprocessing/pool.py", line 48, in mapstar
    return list(map(*args))
  File "<ipython-input-102-bbf59efb0d82>", line 3, in foo
    raise RuntimeError("偶数")
RuntimeError: 偶数
"""

i=2のときの例外をキャッチした上で、i=1, i=3のときの結果も取得したいです。どのようなコードを書けばよいでしょうか?

以下のコードのように、foo関数の中でtry/exceptすれば、i=1, i=3のときの結果を取得できます。
しかし、本来try/exceptはfoo関数の呼び出し元で行うべきなので、できればこの方法は採用したくありません。


def foo(i):
    try:
        if i%2==0:
            raise RuntimeError("custom")
        return i
    except Exception
        return None