Skip to main content
本文に 2 文字追加
ソース リンク

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。

まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。

おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。

User-agent: *
Disallow: /search

質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為ですになります。注意してくださいしましょう

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。

まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。

おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。

User-agent: *
Disallow: /search

質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為です。注意してください

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。

まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。

おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。

User-agent: *
Disallow: /search

質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為になります。注意しましょう

ソース リンク

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。

まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。

おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。

User-agent: *
Disallow: /search

質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為です。注意してください。