0

scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import logging
from elscrapy.items import ElscrapyItem
class WordSpider(scrapy.Spider):
    name = 'word'
    allowed_domains = ['ejje.weblio.jp']
    #start_urls = ['http://ejje.weblio.jp/']
  

    def __init__(self, query='', *args, **kwargs):
        super(WordSpider, self).__init__(*args, **kwargs)
        self.start_urls = ['https://ejje.weblio.jp/content/' + query]



    def parse(self, response):
        word=response.xpath('//*[@id="summary"]/div[2]/p/span[2]/text()').get()
        yield{
            'word':word
        }

以下コマンドで単語を指定することで、start_urlsを毎回変更しています。

scrapy crawl word -a query=relative

しかし結果としては、以下のようになっていたり、csv出力コマンドを実行しても空白になっているため
正しく実行されていないと思います。

ERROR: Error processing {'word': '\n                比較上の、相対的な、相関的な、(…と)関係があって、関連して、(…に)呼応して、比例して、関係を示す、関係詞に導かれた'}

csvに書き込みができるようにしたいです。

1 件の回答 1

0

結果は正しいです。
該当部分のhtmlは

            <span class="content-explanation  ej">
                比較上の、相対的な、相関的な、(…と)関係があって、関連して、(…に)呼応して、比例して、関係を示す、関係詞に導かれた</span>

ですから、spanタグの中身は
改行1個と16個の空白から始まっています。
つまり正しくとれています。
質問者さんが取りたいものと食い違っているだけです。

例えば、

word=response.xpath('//*[@id="summary"]/div[2]/p/span[2]/text()').get().replace('\n', '').strip()

などとして明な改行除去と、前後空白文字の除去をしたりすればいいんじゃないでしようか。
(中に改行がこないと分かっているなら.strip()だけで十分ですが)

3
  • ありがとうございます。 -o file.csvでcsv出力をしていのですが、csvには何も反映されていません。 どのように解決したらよろしいでしょうか。
    – kuratosu
    Commented 2022年8月7日 0:46
  • エラーは起きなくなったのですね。「何も反映されていません」がどういう意味か質問に書いた方がいいかと思います。私の手元では word[改行]スクレイピングした1行[改行]という2行のファイルが作られます。これが正常かと思います。
    – quickquip
    Commented 2022年8月7日 1:52
  • すみません、csvファイルにはスクレイピングで取り込んだデータが書き込まれていないということでした。 その後、csvファイルの書き込みにも成功したので解決したしました。 ありがとうございます。
    – kuratosu
    Commented 2022年8月7日 3:25

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。