0

テーブル内でカラム間に依存のない処理を一定レコード数ごとにページ分割して
parallel を使って並列にクエリを投げたいです

max=$(psql -c 'select max(id) from tmp;' -A | sed -n 2P)

for ((i=0; i < $max; i=end)); do
  start=$i
  end=$((start+100))
  query=$(cat << EOS
  INSERT ...
  SELECT ...
  WHERE id >= $start AND id < $end;
EOS
  )
  echo $query
#  time psql -c "$query"
done

とりあえず上のように逐次ループで分割自体はできたのですが
これを & 付きで実行してしまうとタスクが作られ過ぎてしまうので
同時実行数を制限しながら並列実行したいです

GNU parallel コマンドというのがあるらしく

max=350
seq 0 100 $max | parallel -j 100% echo $1

とかいたら

0
100
200
300

となったのでこれ自体は動きそうなんですが

$1 + 100 の値を bash でうまく生成できません

https://qiita.com/b4b4r07/items/cb02bbfd6df58df06ea8
こちらを参考にして

count=1
count=$(expr $count + 1) # => 2

とあったので

seq 0 100 $max | parallel -j 100% echo $(expr $1 + 100)

とかいてみたところ

100
200
300
400

となってほしいのが

100 0
100 100
100 200
100 300

となぜか1行に2つ出力されてしまいます

最終的に元の for 文の do 〜 done の中身をそのままいれたいので
ヒアドキュメントのなかに $1, $1+100 の値をうめこんだクエリを -c のなかにいれて実行したいです
どうかけばいいのでしょうか

後者の方は最悪エスケープとかが大変になるなら別のファイルにまとめて

seq 0 100 $max | parallel -j 100% task.sh $1 $(expr $1+100)

のようにしてもいいと思ってるんですが分けずに書けるなら1ファイルにまとめてしまいたいです

1
  • GNU parallel の place folder は {} ですので(xargs コマンドと同じ)、parallel -j 100% 'echo $(expr {} + 100)' とするとよろしいかと。それから、GNU parallel には --dry-run オプションがありますので事前確認が可能です。
    – user39889
    Commented 2021年5月6日 11:46

1 件の回答 1

1
seq 0 100 $max | parallel -j 100% 'echo $(({} + 100))'

はいかがでしょうか?

この質問に回答するには、ログインする必要があります。