Seleniumを使い、ページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。
driver.get("https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B6") #「インフルエンザ」で検索
link_elems = driver.find_elements_by_class_name('search__result-footer')
for l in link_elems:
l.click()
text_elems = driver.find_elements_by_class_name('nui-card__head')
text = []
for t in text_elems:
text.append(t.text)
volume
で取得する件数を設定できますね。例えばhttps://r.nikkei.com/search?keyword=...&volume=100
として curl コマンドで GET すると 100 件の情報を取得できます。ただ、「インフルエンザ」で検索すると 3202 件の記事がヒットしますので、全て取得するのはサーバに過大な負荷をかける事になるかと思います。また、もしかしたらサーバ側で最大取得件数を制限している可能性があります。BeautifulSoup
を使ったところ、100件取得できました。ありがとうございました!volume
と BeautifulSoup を使うコードを自己回答として投稿して貰えないでしょうか(個人的に知りたいと思いまして)。url = https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B6&volume=100 nikkei = requests.get(url) soup = bs4.BeautifulSoup(nikkei.text, features='lxml') rvws = soup.find_all(class_="nui-card__title") reviews_text = [] for i in range(len(rvws)): reviews_text.append(rvws[i].text)