0

表題の通り、WebClient.DownloadFileを使用して、Web上のイメージをローカル内に保存しようとするのですが、処理は成功しても、保存されたイメージファイルが破損しているか何かで正しく保存されていません。

ただ、すべて失敗しているかというとそうでもなく、正しく保存されている画像もあり、ソースの方でも例外などを出している様子もありません。コードの方の問題ではなく、ひょっとしたらネットのセキュリティの何なのかという気もするのですが、そこまでわかりませんでした。

原因と対策をお教えください。

下記にコードを記述します。

private bool saveImage(string filepath)
{
    try
    {
       // TARGETPATH = "C:\image"
        if(!Directory.Exists(this.TARGETPATH))
        {
            Directory.CreateDirectory(this.TARGETPATH);
        }
        System.Net.WebClient wc = new System.Net.WebClient();
        wc.DownloadFile(filepath, this.TARGETPATH + @"\" + Path.GetFileName(filepath));
        wc.Dispose();
        return true;
    }
    catch
    {
        return false;
    }
}
3
  • 壊れ方によって対策が異なってくることは認識された上での質問でしょうか?
    – sayuri
    2018年7月2日 9:36
  • 例外は出ていないとのことですが、saveImageメソッドは常にtrueを返却していますか?(catchで例外が握り潰されているので念のため確認です。)
    – user28902
    2018年7月2日 13:07
  • コメントありがとうございます。メソッドの戻り値ですが、常に『true』です。つまり、ファイルが正常か否かに関わらず、ダウンロードは成功していると判断されています…が、画像が壊れています。 2018年7月2日 23:20

1 件の回答 1

0

ダウンロードする画像が、ブラウザーであれば見えてダウンロードもできるのであれば、送信時の圧縮のためという可能性が高いです。

教科書的には、送信時の圧縮はAccept-Encodingを見て行う、画像は既に圧縮がかかっているので送信時には圧縮をしないとなっていますが、現実には、全てのブラウザーが圧縮に対応しているので強制的に送信時圧縮をしているケースがあること、Googleが高圧縮のZopfliBrotliを開発したことから画像にも送信時圧縮をかけているケースがあります。

したがって、単純にWebClientを使うのは無理で、まず、gzipdeflateに対応させておく必要があります。コードは以下のような感じでしょうか?また、Brotliに対応していれば対応させておくのがいいし、対応していなければブラウザーでBrotliに対応していないのはIE11だけなのでユーザーエージェントでIE11とわかるようにしておくのがいいでしょう。

class MyWebClient : WebClient
{
    protected override WebRequest GetWebRequest(Uri address)
    {
        HttpWebRequest request = base.GetWebRequest(address) as HttpWebRequest;
        request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
        return request;
    }
}

それでも駄目な場合は、ヘッドレスのブラウザーを操作してダウンロードするしかないでしょう。ヘッドレスのEdgeは開発ができていない( 参考 headless browser for testing )ようなので、ヘッドレスChromeとGoogle純正のpuppeteerというライブラリーを使うのが便利です。

2
  • すみません、頂いたコードで試してみましたが、やはり状況は変わりませんでした。ヘッドレスというのは、具体的にどのようなものなのでしょうか?初心者で申し訳ありませんが、ご教授いただければ幸いです。 2018年7月8日 0:03
  • それで駄目であれば、サイトの方で画像の無断利用を防ぐため、画像をダウンロードできないような細工をしているということが考えられます。その場合には、WebClientを使って単純にURLを指定してダウンロードしようとしても無理でWebブラウザーが必要になります。プログラムで取得するのであればGUIは邪魔でAPIの方が必要になります。それがヘッドレスブラウザーです。無理に画像をダウンロードするのは、著作権に違反する行為になる可能性があるので注意してくださいね。 2018年7月8日 0:39

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。