0

Seleniumを使い、ページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。

driver.get("https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B6") #「インフルエンザ」で検索
link_elems = driver.find_elements_by_class_name('search__result-footer') 
for l in link_elems:
  l.click()

text_elems = driver.find_elements_by_class_name('nui-card__head')
text = []
for t in text_elems:
  text.append(t.text) 


14
  • 1
    どうもスクロールバーを下げていって実際に記事のヘッドラインを見る動作を行ったように判断される状態になった時とか、あるいは一定時間間隔で何かの依頼が行われているようです。ブラウザの開発者ツールモード(F12)でNetworkログを取得・表示しつつ動作を確かめてみてください。
    – kunif
    Commented 2019年11月18日 15:18
  • 1
    クエリパラメータ volume で取得する件数を設定できますね。例えば https://r.nikkei.com/search?keyword=...&volume=100 として curl コマンドで GET すると 100 件の情報を取得できます。ただ、「インフルエンザ」で検索すると 3202 件の記事がヒットしますので、全て取得するのはサーバに過大な負荷をかける事になるかと思います。また、もしかしたらサーバ側で最大取得件数を制限している可能性があります。
    – user39889
    Commented 2019年11月18日 15:54
  • 1
    BeautifulSoupを使ったところ、100件取得できました。ありがとうございました!
    – sayuri m
    Commented 2019年11月18日 16:02
  • 1
    クエリパラメータ volume と BeautifulSoup を使うコードを自己回答として投稿して貰えないでしょうか(個人的に知りたいと思いまして)。
    – user39889
    Commented 2019年11月18日 16:06
  • 1
    以下で取得できました。 url = https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B6&volume=100 nikkei = requests.get(url) soup = bs4.BeautifulSoup(nikkei.text, features='lxml') rvws = soup.find_all(class_="nui-card__title") reviews_text = [] for i in range(len(rvws)): reviews_text.append(rvws[i].text)
    – sayuri m
    Commented 2019年11月18日 16:11

1 件の回答 1

3

driver.find_elements_by_class_name の返り値は配列なので,link_elem[0].click()とやる必要があります.

そもそもの話ですが,そのコードでは,tryブロックのせいでエラーメッセージが握り潰されていてデバッグしづらいので,tryブロックを一旦消すか,エラー内容を表示するようにした方がよさそうです.

1
  • ありがとうございます。スクリプト直しました。やはり「もっと見る」以降の情報が取得できないようです。
    – sayuri m
    Commented 2019年11月18日 14:47

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。