-1

お世話になります。

あまり使い勝手の良くないWebBrowserコントロールですが、これを使って、ブラウジング
されているページのリンクだけを抽出するコードを書いています。
再起などを使用して、ページ内にリンクがあれば、そのページに移動して
同じようにブラウジングされているページのリンクだけを抽出する
流れを作ろうとしています。

正規表現などを使用して、取得するまでは問題ないのですが、
WebBrowserのDocumentTextからテキストを取得するには
一度Navigateでページを開き、表示し終わらなければなりません。
一ページだけならばたいした問題ではありませんが、全てのリンクされている
ページを取得するには、ブラウジングして表示しきる時間が実にロスになってきます。
表示をさせないで、WebBrowserのDocumentTextからテキストを取得できる方法は
ありますでしょうか。

よろしくお願いいたします。

4 件の回答 4

0

WebBrowser コントロールで、画像読み込みをOFF にしたり、スクリプトをOFFにしたりすることができます。
https://social.msdn.microsoft.com/Forums/ja-JP/6ff03e2f-c7e4-4fc7-aa93-40d404d85908/vb2005-webbrowser-?forum=vbgeneralja
が参考になります。
自分は、もう少し改造してつかっていますが、要望があれば公開可能ですので公開します。

1
  • 回答ありがとうございます。ただ、ちょっと意味合いが違います。画像だけでなく、そもそも表示自体をスキップする方法です。要はまとめてダウンロードしたいので、一つ一つ表示して確認する必要がありません。裏方での仕事にしたいのです。Navigateしても表示を行わないようにしたいのです。 Commented 2016年10月28日 4:15
0

テキストだけならWebBrowserクラスではなくWebClient.DownloadStringなどを使ってはどうでしょうか?

1
  • いつもありがとうございます。既に試しているのですが、WebClient.DownloadStringではドメインと違うサイトをダウンロードしたりされてしまうため、WebBrowserを一度挟んだ方が確実と判断しました。これはコードの問題じゃなく、Web全体の特徴かなんかだと思うのですが、私にはよくわかりません。ゲームサイト『ドラゴンクエストモンスターズ.gamewith.jp』で試してみた結果、全く違う(というか、親元のサイトだと思うのですが)サイトがダウンロードされてしまうので。後、これは自力で解決しなければならない部分ではありますが、WebClient.DownloadStringでは自分で文字のエンコードを指定しなければならない点もあり、結果WebBrowserに一任させる形になっています。 Commented 2016年10月28日 4:12
0

文字コードを気にするのであればMicrosoft.AspNet.WebApi.ClientパッケージのHttpClientを使用すればよいと思います。
また「全く違うサイト」がhttps://xn--icknowag8a8de9wpc5ff2k.gamewith.jp/を指すのであれば単に日本語URLがエンコードされたものです。

2
  • いつもありがとうございます。文字コードのことはともかく、URLの件は、上記のURLをWebClient.Download‌​Stringで渡しても、取得するのは『g‌​amewith.jp』になってしまってい‌​ます。これが解りません。他のリンクサイト‌​もうまくいったりいかなかったりしています‌​。ここがクリアできれば、WebBrows‌​erを使う必要は完全になくなりますね。 Commented 2016年10月28日 6:38
  • 1
    正確に同じURLを指定しているのにリダイレクトされるのであればサーバー側でアクセスを禁止されている可能性がありますね。HttpClientHandler.AllowAutoRedirectをfalseにするなどして正確なレスポンスを調べた方が良いのでは。またログイン等を行っているのであれば、クッキーが既定では無効なので正常に動作しないことも考えられます。
    – pgrho
    Commented 2016年10月28日 6:39
0

WebClient.DownloadString で取得する方法はいかがでしょうか。

日本語ドメインでは異なるサイトがダウンロードされてしまう問題ですが、App.config の configuration セクションに以下のような uri セクションを追加することで正しく動作するようになるようです。(参考: Uriクラス)

<configuration>
  <uri>
    <idn enabled="All" />
    <iriParsing enabled="true" />
  </uri>
</configuration>

あと、 User-Agent によって挙動を変えるサイトも多いですので、対象とするブラウザと同じものを設定しておくとよいかと思います。以下はその例となります。

var client = new WebClient();
client.Headers.Add("user-agent", "Mozilla / 4.0(compatible; MSIE 7.0; Windows NT 6.2; WOW64; Trident / 7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; Tablet PC 2.0)");
var download = client.DownloadString(new Uri("https://~"));

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。