あるページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。
【コメント追加】
クエリパラメータで表示件数を調整できる場合もあることを、別の質問 で知ったのですが、こちらのページでも同様にクエリパラメータを使えるのでしょうか?Webの知識が無く、検討違いの質問でしたらすみません。
url = 'https://prtimes.jp/main/action.php?run=html&page=searchkey&search_word=%E3%81%8A%E3%81%AB%E3%81%8E%E3%82%8A&search_pattern=1'
res = requests.get(url)
soup = bs4.BeautifulSoup(res.text, features='lxml')
rvws = soup.find_all(class_="link-title-item link-title-item-ordinary")
reviews_text = []
for i in range(len(rvws)):
reviews_text.append(rvws[i].text)
reviews_text
ajax
で呼び出されているのでは? JavaScriptが実行できる環境が必要かも。