仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(scraping) vagrant@ubuntu-bionic:/vagrant$ python python_crawler_1.py
プログラム:
import requests
import lxml.html
response = requests.get('https://gihyo.jp/dp')
html = lxml.html.fromstring(response.text)
html.make_links_absolute(response.url)
for a in html.cssselect('#listbook > li > a[itemprop="url"]'):
url = a.get('href')
print(url)
実行時の画面:
(scraping) vagrant@ubuntu-bionic:/vagrant$ python python_crawler_1.py
(scraping) vagrant@ubuntu-bionic:/vagrant$