0

以下のコードにおいて,parallelForメソッドの出力を順番はバラバラでよいのでvalueListに全て格納したいです.
どのようにコードを記述すればよいのでしょうか.
ご教授お願い致します.

(現在の実行結果も質問下部に掲載します)

【追加の質問】
1点目:上記のようなコードをマルチスレッドとマルチプロセスの両方で動かせた場合,処理速度はどのくらい変わりますのでしょうか.
2点目:スパコン等でマルチプロセスで実行させたいと考えていまして,どうにかしてマルチプロセスで実行できる方法は無いのでしょうか.

require 'test/unit'
require 'parallel'

def parallelFor(value, b = nil)

  p "value = #{value}"
  p "b = #{b}"

  return value
end

class UnitTest < Test::Unit::TestCase

  def test_parallelFor

    valueList = []

    vv = [10, 11, 12, 13, 14]
    Parallel.each_with_index(vv, :in_processes => 4){|v, i|
      valueTrial = parallelFor(v, i == 0 ? true : nil)
      p "valueTrial = #{valueTrial}"
      valueList << valueTrial
    }
    p "valueList = #{valueList}"

  end

end

「テストコード実行結果」

Started
"value = 10"
"b = true"
"valueTrial = 10"
"value = 11"
"b = "
"valueTrial = 11"
"value = 12"
"value = 13"
"b = "
"valueTrial = 13"
"b = "
"valueTrial = 12"
"value = 14"
"b = "
"valueTrial = 14"
"valueList = []"
.
Finished in 0.022698 seconds.
4
  • Parallel.each_with_index(vv, :in_processes => 4) となさっていますが、:in_process(プロセスモデル)の場合は Variables are protected from change であると記載されています。:in_threads(スレッドモデル) でしたら、Variables can be shared/modified ですので期待通りの動作になります。
    – user39889
    2018年11月26日 3:27
  • ご回答ありがとうございます.2点程追加でご質問があります.1点目:上記のようなコードをマルチスレッドとマルチプロセスの両方で動かせた場合,処理速度はどのくらい変わりますのでしょうか.2点目:スパコン等でマルチプロセスで実行させたいと考えていまして,どうにかしてマルチプロセスで実行できる方法は無いのでしょうか.
    – wilwilco
    2018年11月26日 3:39
  • 他の方達にも伝わる様に、追加の質問を質問文の方へ追記していただけますか?
    – user39889
    2018年11月26日 3:45
  • かしこまりました.追加させていただきました.
    – wilwilco
    2018年11月26日 3:48

1 件の回答 1

1

Parallelの各プロセスで実行した結果を親側で集めたい場合はParallel#mapまたはParallel#map_with_indexを使用してください。例えば、次のように修正します。

valueList = Parallel.map_with_index(vv, :in_processes => 4){|v, i|
  valueTrial = parallelFor(v, i == 0 ? true : nil)
  p "valueTrial = #{valueTrial}"
  valueTrial
}

Parallelのマルチスレッドは内部でforkを使用しています。子プロセスには親プロセスのメモリ内容がそのままコピーされますが、フォークされた時点でそれぞれのメモリは独立しており、子プロセス上での変更は親プロセスには反映されません。そのため、子プロセス側で変数やオブジェクトを変更しても、親プロセスには一切影響がなくなります。本来、フォークされた子で計算されたデータを親に渡したい場合は、pipe等のプロセス間通信を行う必要があります。

ここまではeachでもmapでも同じです。しかし、mapはプロセス間通信のためのpipeを自動的に生成し、Marshalを使って親子間でオブジェクトの受け渡しを行います。子プロセスのブロックで最後に評価された式の結果であるオブジェクトをMarshalダンプして、pipeを通して親に渡し、親プロセスではMarshalでオブジェクトを復元します。親プロセスは通常のmapのようにそれぞれの子プロセスから得たオブジェクトを一つの配列としてまとめることになります。こうして、あたかも通常のmapのように動作しながら、マルチプロセスでの並列処理でも最終的に結果をまとめた配列としてデータを得ることができます。なお、マルチプロセスと併用しても結果は変わりません。


1点目:上記のようなコードをマルチスレッドとマルチプロセスの両方で動かせた場合,処理速度はどのくらい変わりますのでしょうか.

処理速度は条件、コードの内容、環境の違い、ボトルネックの場所によって大きく変わってきますので、一概に言えることはありません。実測してくださいとしか言えません。

2点目:スパコン等でマルチプロセスで実行させたいと考えていまして,どうにかしてマルチプロセスで実行できる方法は無いのでしょうか.

スパコンが対応していれば、普通にforkを使って下さい。UNIX/Linuxの処理系であれば使用できるはずです。Parallelはforkを使った並列処理を簡単に書くようにするためのライブラリにしか過ぎません。

1
  • 上記の提示してくださったParallel#map_with_indexを使用する方法で私がやりたかったことができました.ありがとうございました.
    – wilwilco
    2018年11月28日 5:32

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。