1

現在、複数のproxyアクセスのみが許された連番ページをダウンロードしています。

seq 400 100000 | xargs -P100 -n1 -t -I {} \
curl -s -o {}.html --retry 10 -x 192.168.20.3:1080 "https://192.168.1.5/page/"{}".php"'

又、別のファイルには以下のようにproxyリストが記述されており

192.168.20.3:1080
192.168.19.5:1080
...
192.168.18.4:1080

1スレッド毎にランダムなproxyからアクセスさせたいのですが
バッククォートを使用した方法

seq 400 100000 | xargs -P100 -n1 -t -I {} \
curl -s -o {}.html --retry 10 -x `shuf -n1 /home/home/proxy.list` "https://192.168.1.5/page/"{}".php"

bash -cを使用した方法等

seq 400 100000 | xargs -P100 -n1 -t -I {} \
bash -c 'curl -s -o {}.html --retry 10 -x $(shuf -n1 /home/home/proxy.list) https://192.168.1.5/page/{}.php'

上手くいきません。いい方法をご教授いただけますでしょうか。
よろしくお願いします。

2 件の回答 2

1

下記のように書くと希望通りに動くと思います。

seq 400 100000 | xargs -P100 -n1 -t \
sh -c 'curl -s -o "${1}.html" --retry 10 -x "$(shuf -n1 /home/home/proxy.list)" "https://192.168.1.5/page/${1}.php"' _
0

自己解決しました。
proxychains-ng にてランダムなproxyを与え

random_chain
chain_len = 1

[ProxyList]
http 192.168.20.3 1080
http 192.168.19.5 1080
...
http 192.168.18.4 1080

以下の様に実行する事でランダムなproxyになる事を確認しました。

seq 400 100000 | xargs -P100 -n1 -t -I {} \
proxychains curl -s -o {}.html --retry 10 "https://192.168.1.5/page/"{}".php"

ただし、proxychains-ngではオーバーヘッドが大きいです。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。