Pythonでwebスクレイピングを行っているのですが, 抽出したいデータが出力されません.
サイトは, 日本酒オンライン販売のサイトで、商品名・価格・醸造元・アルコール度数・精米歩合などのデータを抽出したいと考えております.
Visual Studio Code
バージョン: 1.83.0 (Universal)
使用したOS:macOS
以下にコードを添付します.
import scrapy
import logging
class DesktopSpider(scrapy.Spider):
name = 'desktop'
allowed_domains = ['www.haruyama-sake.com']
start_urls = ['https://www.haruyama-sake.com/smp/list.php?type=search&stockSort=0&pict=1&search=720ml&page=1']
def parse(self, response):
logging.info(response.url)
products=response.xpath('.//li[contains(@class,"itemlist_bottom")]')
for product in products:
maker=product.xpath('.//div[contains(@class,"mp_item_item4")/text()').get()
name=product.xpath('.//div[contains(@class,"item_item1")/text()').get()
price=product.xpath('.//div[contains(@class,"price mp_item_item5")/text()').get()
yield{
'メーカー':maker,
'商品名':name,
'価格':price,
}
next_page=response.xpath('//a[@class="next"]')
if next_page:
yield response.follow(url=next_page[0], callback=self.parse)
このコードを実行すると、ファイル内に何も出力されませんでした。
urlとxpathを変更して違うサイトで実行した場合は正常にデータが抽出されました。
データが抽出されるようにするには、どのようにしたら良いでしょうか.
ご回答お待ちしております.