実現したいこと
下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。
そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)
他に2パターン試しましたが、それもうまくいきませんでした。
年齢認証ページを通過して目的のページに到達できる方法をご教授いただけませんでしょうか?
なお、sudo権限のないレンタルサーバーで動作させるため、Seleniumは使えません。
以上、よろしくお願いいたします。
スクレイピングしたいページのURL
ttps://dgpot.com/product_list.php/cPath/254
年齢認証ページのURL
ttps://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ
試したこと
その1
この方法で初日はうまくいったが、年齢認証ページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には年齢認証を通過できなくなる。
import requests
from bs4 import BeautifulSoup
# URLの指定
url = 'https://dgpot.com/product_list.php/cPath/254'
#ユーザーエージェントの設定
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}
# ここでcookieを指定(このosCsidがクッションページの表示可否を決めている)
cookie = {'osCsid': 'kbqd914a7vdqrqa7sv31pkpa06'}
#htmlの取得
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
#BeautifulSoupで扱えるようにパース
soup = BeautifulSoup(html, "html.parser")
#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
print(elem.text)
その2
年齢認証ページは通過でき、成人向け総合の2位までは取得できるが、それ以降がなぜか取得できない。
import requests
from bs4 import BeautifulSoup
#クッションページの「はい」ボタンのurl
yes_button_url = 'https://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ/age_check/ok'
#目的のページのurl
url_target = 'https://dgpot.com/product_list.php/cPath/254'
session = requests.session()
session.get(yes_button_url)
soup = BeautifulSoup(session.get(url_target).content, 'lxml')
#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
print(elem.text)
その3
この方法だと年齢認証ページがスクレイピングされてしまう
import requests
from bs4 import BeautifulSoup
#クッションページの「はい」ボタンのurlからcookieを取得
url = "https://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ/age_check/ok"
session = requests.session()
response = session.get(url)
# cookieを取得
cookie = response.cookies
# cookie内の任意項目を指定して取得
item = cookie.get('osCsid')
#目的のページのurl
url = 'https://dgpot.com/product_list.php/cPath/254'
#ユーザーエージェントの設定
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}
#htmlの取得
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
#BeautifulSoupで扱えるようにパース
soup = BeautifulSoup(html, "html.parser")
#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
print(elem.text)