wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。
具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。
メッセージ一部抜粋
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
下記にてspiderファイルとitemファイルを共有いたします。
考えられる修正点をご教示いただけますでしょうか。
クローリング先のサイトは下記です。
県名(prefecture)、酒造(syuzo)、日本酒名(sake_name)を取得したいと思っております。
scrapy_sake.py
# -*- coding: utf-8 -*-
import scrapy
from sake.items import SakeItem
class ScrapySakeSpider(scrapy.Spider):
name = 'scrapy_sake'
allowed_domains = ['ja.wikipedia.org']
start_urls = ['https://ja.wikipedia.org/wiki/%E6%97%A5%E6%9C%AC%E9%85%92%E3%81%AE%E9%8A%98%E6%9F%84%E4%B8%80%E8%A6%A7']
def parse(self, response):
"""
レスポンスに対するパース処理
"""
items = []
for post in response.css('.mw-parser-ouput div ul li'):
# items に定義した Post のオブジェクトを生成して次の処理へ渡す
item = SakeItem()
item["prefecture"] = post.css('.mw-parser-ouput .mw-headline::text').extract()
item["syuzo"] = post.css('.mw-parser-ouput div p b a::text').extract()
if syuzo != None:
syuzo = syuzo
else:
syuzo=post.css('.mw-parser-ouput div p b::text').extract()
item["sake_name"] = post.css('.mw-parser-ouput div ul li::text').extract()
items.append(item)
return items
item.py
import scrapy
class SakeItem(scrapy.Item):
prefecture = scrapy.Field()
syuzo = scrapy.Field()
sake_name = scrapy.Field()
pass