google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。
まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'
の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.text
を見てみると、ブラウザから見れた<div class="r">
タグが見つかりません。
おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。
User-agent: *
Disallow: /search
質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為ですになります。注意してくださいしましょう。