2
票
承認済み
Python と Selenium で特定サイトでのクリックが無応答となり、タイムアウトとなる
対処としては chromedriver のオプションに --disable-blink-features=AutomationControlled を追加します。これによって、navigator.webdriver が false に設定されます。(true の場合はブラウザが自動制御されていることを示しています) おそらく、TDL サイト側でこの値をチェックしているのかもしれません。
...
2
票
ChromeでHTMLファイルをPDF保存時のページサイズ指定が動作しない
最近、ページサイズ変更ができました。
A2で印刷する場合には、"mediaSize"に以下のJSONを入力する感じです。
Chromeの印刷画面自体が、HTMLで描画されているので、画面中に右クリックで、「検証」を選択すると、要素が出てきますのでそこを参考にすると、用紙サイズの指定ができると思います。
{
"height_microns":...
1
票
Python + Selenium で h2 要素の位置を特定して、ある部分だけの h3 要素を取得したい
CSS セレクタを利用して以下の様に書くことができます。
elements = driver.find_elements(By.CSS_SELECTOR, 'h2#bb ~ h3:has(~ h2#cc)')
for elm in elements:
print(elm.get_attribute('outerHTML'))
# <h3> yy1 </h3>
# &...
1
票
承認済み
Python+Selenium で JavaScriptで記述されたボタンをクリックできない
解決策としては、JavaScriptコードを execute_script で実行するのが王道だと思います。
しかしながら、JavaScriptの処理内容に私の理解が追い付かず、私のスキル不足により困難でした。
その為、回避手段として、move_by_offset を利用して、X, Y の座標軸指定してクリックすることで解決しました。
Chrome拡張機能 page-ruler を導入することで、...
1
票
承認済み
動的に生成されたページをSeleniumで取得できない
肝心の「デッキをみる」のリンク等を取得できませんでした。
find_elements() メソッドを使用してリンクを抽出します。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from ...
1
票
承認済み
Python + Selenium での Firefox のスクレイピングでエラー:selenium-manager.exe がない?
selenium-manager.exeが如何とか以前に、Selenium 4.xx になってから変更になった使い方に対応していないことが原因でしょう。
これらの記事はfirefoxが対象ではありませんが、同じ原因・問題を扱っています。
pythonを使っていたのですがgoogleの更新でエラーとなってしまいます。
スクレイピングのためにmsedgedriverを使用したが、エラーが発生する
...
1
票
Seleniumでページを取得できないサイトがある
ユーザーエージェントを指定することで解決できました。
import sys
sys.dont_write_bytecode = True
from datetime import datetime
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium....
1
票
find_elementでXPathを指定してスクレイピングできない
手元の環境下(PythonとSeleniumのバージョンは質問と同じ)でも、質問の内容のみだと事象の再現度がかなり低いようです。
ので、おそらくは動作環境そのものやWebDriverの設定に起因するような気がしています。
上記を踏まえた上で、下記の内容で「擬似的な再現」をした上で「擬似的な再現環境下でも問題が発生しにくい」手法を試してみました。
擬似的な再現
WebDriverのセットアップ時に、...
1
票
find_elementでXPathを指定してスクレイピングできない
手元の環境(Python 3.11.4/Selenium 4.14.0)で以下のコードを実行してみましたが、"¥3,118" と表示されます。
from selenium import webdriver
from selenium.webdriver.chrome import service as fs
from selenium.webdriver.common.by ...
無効化に投票
関連するタグ
selenium × 142python × 96
python3 × 34
selenium-webdriver × 31
google-chrome × 19
web-scraping × 17
chromedriver × 14
html × 7
c# × 6
ruby × 6
macos × 5
firefox × 5
ubuntu × 4
xpath × 4
javascript × 3
php × 3
pandas × 3
python-requests × 3
phantomjs × 3
centos × 2
docker × 2
wordpress × 2
vba × 2
excel × 2
jupyter-notebook × 2