0

下記サイトにchromedriverとseleniumを用いてアクセスしようと試みています。
他のサイトでは問題なくアクセスできていますが、getで処理が止まってしまいます。

https://salonboard.com/login/

【環境】
Ubuntu 22.04.3 LTS
Python 3.10.12
Google Chrome 116.0.5845.110
Selenium 4.14.0

import sys
sys.dont_write_bytecode = True
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from time import sleep
import time

CHROMEDRIVER = "/usr/bin/chromedriver"

if __name__ == '__main__':
    url = "https://salonboard.com/login"

    service = Service(executable_path=CHROMEDRIVER)
    #ヘッドレスモードでブラウザを起動
    options = Options()
    options.add_argument('--headless')
    options.add_argument("--no-sandbox")
    #ブラウザを起動
    driver = webdriver.Chrome(service=service, options=options)

    # urlにアクセス
    print('before get')
    driver.set_page_load_timeout(30)
    try:
        driver.get(url)
        print('after get')
    except Exception as e:
        print('timeout')
    finally:
        #ブラウザ停止
        driver.quit()

【出力】

before get
timeout
6
  • options.add_argument('--headless')を外すとまた別のエラーメッセージは出ますが処理は進むようですね。
    – kunif
    10月23日 7:18
  • Linux(CUI)環境なのでヘッドレスモードは必須と思っています。 10月23日 7:21
  • options.add_argument('--user-agent="Mozilla.途中省略."')を指定してみてはどうでしょう? 同様に別のエラーメッセージは出ますが処理は進むようです。最初のコメントも含めてどちらもWindows上で試しているので状況は違うかもしれませんが。
    – kunif
    10月23日 7:49
  • 試してみます。確かにユーザーエージェントを見るjavascriptの処理が含まれているので関係ありそうですね。 10月23日 7:53
  • @kunif ご教示の通りユーザーエージェントを指定することで解決できました。ありがとうございます。"Mozilla.途中省略."の””は不要のようでした。 10月23日 8:37

1 件の回答 1

1

ユーザーエージェントを指定することで解決できました。

import sys
sys.dont_write_bytecode = True
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from time import sleep
import time

CHROMEDRIVER = "/usr/bin/chromedriver"

if __name__ == '__main__':
    url = "https://salonboard.com/login"

    service = Service(executable_path=CHROMEDRIVER)
    #ヘッドレスモードでブラウザを起動
    options = Options()
    options.add_argument('--headless')
    options.add_argument('--no-sandbox')
    options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
    #ブラウザを起動
    driver = webdriver.Chrome(service=service, options=options)

    agent = driver.execute_script("return navigator.userAgent")
    print(agent)
    # urlにアクセス
    print('before get')
    driver.set_page_load_timeout(10)
    try:
        driver.get(url)
        print('after get')
    except Exception as e:
        print(str(e))
    finally:
        #ブラウザ停止
        driver.quit()

【出力】
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36
before get
after get

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。