rubyのparallelを使って、スレッドごとにオブジェクトを分けて処理したいのですが、良い方法はありますか?
イメージ
Parallel.each(array, in_threads: 10) {|val|
obj[thisThread] << val
}
スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。すぐ登録できます。
登録してこのコミュニティに参加するThread.currentで現在実行中のスレッドを取得できます。
そのスレッドをキーにしてhash
に値をいれるといいのではないでしょうか。
require 'parallel'
require 'securerandom'
{}.tap {|hash|
Parallel.each(10.times.to_a, in_threads: 5) {|val|
hash[Thread.current.object_id] ||= []
hash[Thread.current.object_id] << val
# 全部同じスレッドで処理されるとサンプルとして分かりづらいので
# 明示的に他のスレッドに順番を譲っています
Thread.pass
}
}
# => {70296018371880=>[0, 9], 70296018372240=>[1, 3, 7], 70296018372060=>[2, 5], 70296018371400=>[4, 6, 8]}
またスレッドごとに値を保持したいならスレッドローカル変数などを使うといいと思います。
require 'parallel'
require 'securerandom'
{}.tap {|hash|
Parallel.each(10.times.to_a, in_threads: 5) {|val|
Thread.current[:total] ||= 0
Thread.current[:total] += val
hash[Thread.current.object_id] = Thread.current[:total]
# 全部同じスレッドで処理されるとサンプルとして分かりづらいので
# 明示的に他のスレッドに順番を譲っています
Thread.pass
}
}
# => {70296003558440=>11, 70296003558620=>5, 70296003558880=>16, 70296003558120=>6, 70296003557940=>7}
ただし、hash
にRubyに元から入っているHash
などのデータ構造はスレッドセーフではないのでthread_safeなどのライブラリに入っているThreadSafe::Hash
などをあわせて使うとよいのではないでしょうか。
require 'parallel'
require 'thread_safe'
require 'securerandom'
ThreadSafe::Hash.new.tap {|hash|
Parallel.each(10.times.to_a, in_threads: 5) {|val|
Thread.current[:total] ||= 0
Thread.current[:total] += val
hash[Thread.current.object_id] = Thread.current[:total]
# 全部同じスレッドで処理されるとサンプルとして分かりづらいので
# 明示的に他のスレッドに順番を譲っています
Thread.pass
}
}
# => {70280165348680=>13, 70280165348480=>6, 70280165348340=>16, 70280165348200=>10}
require 'pp'
require 'parallel'
val = [].tap {|a|
(1..100).each {|i|
a << i
}
}
Parallel.each(val.each_slice(10), :in_threads => 1) { |split_val|
pp split_val
}
よくわからないんですがこういうことがしたいということでしょうか