こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?num=100&q=' + ' '.join(list_keywd))
resp.raise_for_status()
# 取得したHTMLをパースする
soup = bs4.BeautifulSoup(resp.text, "html.parser")
# 検索結果のタイトルとリンクを取得
link_elem01 = soup.select('.r > a')
# 検索結果の説明部分を取得
link_elem02 = soup.select('.s > .st')
if(len(link_elem02) <= len(link_elem01)):
leng = len(link_elem02)
else:
leng = len(link_elem01)
soupまでは取得できているようですが、link_elem01
とlink_elem02
はprintすると空になっています。
htmlに詳しくなく、またsoupの中の内容が複雑だったので、実行できない理由を教えていただけると嬉しいです。
よろしくお願いします。