scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import logging
from elscrapy.items import ElscrapyItem
class WordSpider(scrapy.Spider):
name = 'word'
allowed_domains = ['ejje.weblio.jp']
#start_urls = ['http://ejje.weblio.jp/']
def __init__(self, query='', *args, **kwargs):
super(WordSpider, self).__init__(*args, **kwargs)
self.start_urls = ['https://ejje.weblio.jp/content/' + query]
def parse(self, response):
word=response.xpath('//*[@id="summary"]/div[2]/p/span[2]/text()').get()
yield{
'word':word
}
以下コマンドで単語を指定することで、start_urlsを毎回変更しています。
scrapy crawl word -a query=relative
しかし結果としては、以下のようになっていたり、csv出力コマンドを実行しても空白になっているため
正しく実行されていないと思います。
ERROR: Error processing {'word': '\n 比較上の、相対的な、相関的な、(…と)関係があって、関連して、(…に)呼応して、比例して、関係を示す、関係詞に導かれた'}
csvに書き込みができるようにしたいです。