0

こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)

import requests as web
import bs4
import csv

# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd))
resp.raise_for_status()

# 取得したHTMLをパースする
soup = bs4.BeautifulSoup(resp.text, "html.parser")
# 検索結果のタイトルとリンクを取得
link_elem01 = soup.select('.r > a')
# 検索結果の説明部分を取得
link_elem02 = soup.select('.s > .st')

if(len(link_elem02) <= len(link_elem01)):
    leng = len(link_elem02)
else:
    leng = len(link_elem01) 

soupまでは取得できているようですが、link_elem01link_elem02はprintすると空になっています。
htmlに詳しくなく、またsoupの中の内容が複雑だったので、実行できない理由を教えていただけると嬉しいです。
よろしくお願いします。

1

1 件の回答 1

1

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。

まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。

おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。

User-agent: *
Disallow: /search

質問者さんのチュートリアルの記事は1年以上前なのでその間にgoogle側がスクレイピング対策したのでしょう。ブラウザからのアクセスでは、ブラウザがresponseを得た後、javascriptの実行によってその内容を書き換えているのではないかと思われます。もしその内容が知りたいのであれば、ブラウザ自動化ができるseleniumを使うことで可能です。しかし、クローリング目的で同じurlにアクセスすると、それは違法行為になります。注意しましょう。

1
  • ありがとうございます。留意します。 Commented 2019年10月21日 4:51

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。