1

実現したいこと

下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。

そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)

他に2パターン試しましたが、それもうまくいきませんでした。
年齢認証ページを通過して目的のページに到達できる方法をご教授いただけませんでしょうか?

なお、sudo権限のないレンタルサーバーで動作させるため、Seleniumは使えません。
以上、よろしくお願いいたします。

スクレイピングしたいページのURL

ttps://dgpot.com/product_list.php/cPath/254

年齢認証ページのURL

ttps://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ

試したこと

その1

この方法で初日はうまくいったが、年齢認証ページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には年齢認証を通過できなくなる。

import requests
from bs4 import BeautifulSoup

# URLの指定        
url = 'https://dgpot.com/product_list.php/cPath/254'
#ユーザーエージェントの設定
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}
# ここでcookieを指定(このosCsidがクッションページの表示可否を決めている)
cookie = {'osCsid': 'kbqd914a7vdqrqa7sv31pkpa06'}  

#htmlの取得
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
#BeautifulSoupで扱えるようにパース
soup = BeautifulSoup(html, "html.parser")

#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
    print(elem.text)
その2

年齢認証ページは通過でき、成人向け総合の2位までは取得できるが、それ以降がなぜか取得できない。

import requests
from bs4 import BeautifulSoup

#クッションページの「はい」ボタンのurl
yes_button_url = 'https://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ/age_check/ok'
#目的のページのurl
url_target = 'https://dgpot.com/product_list.php/cPath/254'

session = requests.session()
session.get(yes_button_url)
soup = BeautifulSoup(session.get(url_target).content, 'lxml')

#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
    print(elem.text)
その3

この方法だと年齢認証ページがスクレイピングされてしまう

import requests
from bs4 import BeautifulSoup

#クッションページの「はい」ボタンのurlからcookieを取得
url = "https://dgpot.com/age_check.php/continue/aHR0cHM6Ly9kZ3BvdC5jb20vcHJvZHVjdF9saXN0LnBocC9jUGF0aC8yNTQ/age_check/ok"
session = requests.session()
response = session.get(url)
# cookieを取得
cookie = response.cookies
# cookie内の任意項目を指定して取得
item  = cookie.get('osCsid')

#目的のページのurl
url = 'https://dgpot.com/product_list.php/cPath/254'
#ユーザーエージェントの設定
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:61.0) Gecko/20100101 Firefox/61.0"}
#htmlの取得
response = requests.get(url=url, headers=headers, cookies=cookie)
html = response.content
#BeautifulSoupで扱えるようにパース
soup = BeautifulSoup(html, "html.parser")

#タイトルを取得してprint
elems = soup.select("[class='modern_item_list-title'] a")
for elem in elems:
    print(elem.text)

1 件の回答 1

1

その2

年齢認証ページは通過でき、成人向け総合の2位までは取得できるが、それ以降がなぜか取得できない。

『クッションページの「はい」ボタンのurl』も変化する様なので、最初に「目的のページのurl」にアクセスして『「はい」ボタンのurl』を取得します。次にその URL と目的のページの URL に再度アクセスしてスクレイピングを行います。

3位以降が取得できないのは、HTTP response のデコード(bytes -> str, charset(encoding)EUC-JP)に失敗している事が原因の様です。なので、デコードできない部分は切り捨てています('ignore' を指定)。

import requests
from bs4 import BeautifulSoup

#目的のページのurl
url_target = 'https://dgpot.com/product_list.php/cPath/254'

# first access
session = requests.session()
html = session.get(url_target).content
soup = BeautifulSoup(html, 'lxml')
#クッションページの「はい」ボタンのurl
yes_button_url = [i.attrs.get('href') for i in soup.select('div.main_body.index_box a')][-1]

# access again  
session.get(yes_button_url)
response = session.get(url_target)
html = response.content.decode(response.encoding, 'ignore')
soup = BeautifulSoup(html, 'lxml')
  
#タイトルを取得してprint
elems = soup.select('div.item_list_h:has(> a:-soup-contains("動画総合")) ~ ul li div.modern_item_list-title')
for i, elem in enumerate(elems):
    print(i+1, elem.text)
1
  • わかりやすい回答ありがとうございました!質問箇所以外も「そう書けばいいのか!」と思った箇所がいろいろあり勉強になりました。また機会がございましたらよろしくお願いします!
    – gaomu
    Commented 2021年10月12日 11:36

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。