0

大学の研究で,様々なデータを集めるために
JavaプログラムでWEB上にあるデータをスクレイピングしています.
データアクセスは,複数台のフォワードプロキシサーバ(apache)を利用しています.

アクセスが一台のプロキシサーバに集中しないように,
プロキシサーバをラウンドロビンで変えるようなプログラムを下記のように書きました.

sysoutで吐いたコマンドライン上の出力には,
プロキシサーバへのアクセスがラウンドロビンで行われているように出ているのですが,
プロキシサーバのログを確認すると,1台にアクセスが集中してしまっています.
(20秒に1アクセスにすると分散できているようです.5秒以上になると集中してしまうようです)

HttpURLConnectionクラスまたはProxyクラスは,
アクセスのたびに,プロキシサーバを変更することは不可能なのでしょうか?

もし,少しでも情報をお知りでしたら,ご助言頂けますと幸いです.
どうぞよろしくお願いいたします.

private DataInputStream dataAccess(String proxy_url, String page_url) throws Exception {
    URL url = new URL(page_url);//WEBページ
    String proxy_port = "80";

    Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxy_url, Integer.parseInt(proxy_port)));
    HttpURLConnection connection = (HttpURLConnection) url.openConnection(proxy);
    connection.setAllowUserInteraction(false);
    connection.setInstanceFollowRedirects(true);
    connection.setRequestMethod("GET");
    connection.addRequestProperty("Cookie", this.getCookie());

    connection.connect();
    System.out.println(proxy_url+":"+page_url);

    int httpStatusCode = connection.getResponseCode();
    if (httpStatusCode != HttpURLConnection.HTTP_OK) {
        System.err.println("File Not Found:" + urlStr);
        throw new Exception();
    }

    // 取得したデータをDataInputStreamで返す
    return new DataInputStream(connection.getInputStream());;
}

1 件の回答 1

1

以下のコードでProxyの動作実験をしてみましたが、期待通り指定したプロキシホストに接続してくれました。

import java.net.InetSocketAddress;
import java.net.Proxy;
import java.util.List;
import java.util.ArrayList;
import java.net.URL;
import java.net.HttpURLConnection;

public class Sample {
    private static List<Proxy> proxies = new ArrayList<Proxy>() {
        {
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.1", 8080)));
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.2", 8080)));
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.3", 8080)));
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.1", 8080)));
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.2", 8080)));
            add(new Proxy(Proxy.Type.HTTP, new InetSocketAddress("192.168.1.3", 8080)));
        }
    };

    public static void main(String... args)
    {
        try {
            URL url = new URL("https://www.example.com");
            for (Proxy proxy : proxies) {
                HttpURLConnection conn = (HttpURLConnection)url.openConnection(proxy);
                try {
                    /* プロキシホストに接続するだけ。
                     * (対象URLにリクエストは送信しない)
                     */
                    System.out.println("Proxy=" + proxy);
                    conn.connect();
                    System.out.println("done.");
                }
                catch (java.io.IOException e) {
                    e.printStackTrace();
                }
                finally {
                    conn.disconnect();
                }
            }
        }
        catch (Exception e) {
            e.printStackTrace();
        }
    }
}
  • OS: CentOS 6.4 (x86_64)
  • Java: 1.8.0_91
  • 備考: 上記コードではプロキシホストは192.168.1.1, 192.168.1.2, 192.168.1.3の3つとしてます。また、アクセスURLはhttps://www.example.comとしています。(実験する際は書き換えてください)

dataAccessメソッドのproxy_urlが期待通りのものか、
また、Proxyが正しく生成できているか確認してみて下さい。
(Proxy#toStringでわかるかと思います)

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。