0

あるページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。

【コメント追加】
クエリパラメータで表示件数を調整できる場合もあることを、別の質問 で知ったのですが、こちらのページでも同様にクエリパラメータを使えるのでしょうか?Webの知識が無く、検討違いの質問でしたらすみません。

url = 'https://prtimes.jp/main/action.php?run=html&page=searchkey&search_word=%E3%81%8A%E3%81%AB%E3%81%8E%E3%82%8A&search_pattern=1'

res = requests.get(url)
soup = bs4.BeautifulSoup(res.text, features='lxml')
rvws = soup.find_all(class_="link-title-item link-title-item-ordinary") 

reviews_text = []
for i in range(len(rvws)):
    reviews_text.append(rvws[i].text)
reviews_text
8
  • 1
    質問に記載されているURLは404なようですが、具体的にはどのようなページをスクレイピングしようとされているのでしょうか。ちなみにPR TIMESの検索APIはJSONでやりとりされているようですが。
    – hinaloe
    Commented 2019年11月14日 7:59
  • 1
    ajaxで呼び出されているのでは? JavaScriptが実行できる環境が必要かも。
    – kunif
    Commented 2019年11月14日 10:00
  • 1
    ボタンクリックを以て続きのコンテンツを取得しているのであれば、スクレイピング時も(何かしらの手段で)ボタンクリック相当の操作をしてあげないとうまくいかないのだと思います。
    – cubick
    Commented 2019年11月14日 11:33
  • 1
    こんな記事を参考に。Pythonでかんたんスクレイピング (JavaScript・Proxy・Cookie対応版)
    – kunif
    Commented 2019年11月14日 11:36
  • 1
    追記された「クエリパラメータ」に関して、どんなパラメータを受け取るかはサーバ側の都合によるので、アクセスする側が自由に指定できるわけではありません。 / "もっと見る" を押さずに済むように、というのを想定しているのかもしれませんが、元々の質問内容からは外れる気がします。
    – cubick
    Commented 2019年11月26日 11:47

1 件の回答 1

1

こちらのページでも同様にクエリパラメータを使えるのでしょうか?

「もっと見る」をクリックした直後に Firefox のウェブコンソールで覗いてみると、以下の様になっていました。

ウェブコンソール

クエリパラメータとしては pagelimit を指定する事になるのでしょう。random というパラメータが文字通りランダムな数値でよいのかどうかは不明ですが、適当に設定して HTTP GET を行うと JSON形式のデータが返ってきます。ただ、response データが addReleaseList( JSON format data ) という構造になっているので、以下の様にして取り出します(コマンドラインでの実行例)。

## page=1, limit=20: 先頭20件のデータ
$ curl -s 'https://prtimes.jp/api/search_release.php?callback=addReleaseList&type=search&page=1&v=%E3%81%8A%E3%81%AB%E3%81%8E%E3%82%8A&limit=20&random=1574862397013' |
  grep -Po '\AaddReleaseList\(\K.+(?=\)\Z)' | jq -r . | head -n 10

{
  "status": {
    "code": 200
  },
  "type": "search",
  "articles": [
    {
      "id": 174,
      "title": "SALON GINZA SABOU 日本一のお米で作る、「究極のおにぎり」を発売",
      "url": "/main/html/rd/p/000000174.000006099.html",

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。