テーブル内でカラム間に依存のない処理を一定レコード数ごとにページ分割して
parallel を使って並列にクエリを投げたいです
max=$(psql -c 'select max(id) from tmp;' -A | sed -n 2P)
for ((i=0; i < $max; i=end)); do
start=$i
end=$((start+100))
query=$(cat << EOS
INSERT ...
SELECT ...
WHERE id >= $start AND id < $end;
EOS
)
echo $query
# time psql -c "$query"
done
とりあえず上のように逐次ループで分割自体はできたのですが
これを & 付きで実行してしまうとタスクが作られ過ぎてしまうので
同時実行数を制限しながら並列実行したいです
GNU parallel コマンドというのがあるらしく
max=350
seq 0 100 $max | parallel -j 100% echo $1
とかいたら
0
100
200
300
となったのでこれ自体は動きそうなんですが
$1 + 100 の値を bash でうまく生成できません
https://qiita.com/b4b4r07/items/cb02bbfd6df58df06ea8
こちらを参考にして
count=1
count=$(expr $count + 1) # => 2
とあったので
seq 0 100 $max | parallel -j 100% echo $(expr $1 + 100)
とかいてみたところ
100
200
300
400
となってほしいのが
100 0
100 100
100 200
100 300
となぜか1行に2つ出力されてしまいます
最終的に元の for 文の do 〜 done の中身をそのままいれたいので
ヒアドキュメントのなかに $1, $1+100 の値をうめこんだクエリを -c のなかにいれて実行したいです
どうかけばいいのでしょうか
後者の方は最悪エスケープとかが大変になるなら別のファイルにまとめて
seq 0 100 $max | parallel -j 100% task.sh $1 $(expr $1+100)
のようにしてもいいと思ってるんですが分けずに書けるなら1ファイルにまとめてしまいたいです
{}
ですので(xargs コマンドと同じ)、parallel -j 100% 'echo $(expr {} + 100)'
とするとよろしいかと。それから、GNU parallel には--dry-run
オプションがありますので事前確認が可能です。