2
票
承認済み
PythonとSeleniumを使ってのスクレイピング。リンクが全てJavaScriptになっている予約システムのリンクをたどりたい。
どうすればリンク先ページをSeleniumを使って(または他のモジュールを使って)表示できるのか
以下のコードは Python 3.11.6/Selenium 4.18.1/chromedriver 123.0.6312.58 で実行しています。
from selenium import webdriver
from selenium.webdriver.chrome.options ...
1
票
Selenium を使って Firefox を起動したい
解決手順
geckodriverを/usr/local/bin/にインストール。
~/.bashrcにgeckodriverのPATHを通す設定を記述する。以下のように記述する。
PATH="$PATH":/usr/local/bin/geckodriver
chromedriver を/usr/local/bin/にインストール。
~/....
1
票
Seleniumで取得保存したファイル名の特定
Ubuntu+Python+Selenium
ご質問の前提条件から外れてしまいますが、 Selenium ではなく Puppeteer であれば、直接ダウンロードするパスとファイル名を指定する方法があります。
→ puppeteer でファイルをダウンロードするときに、任意のパスと名前で保存する | Aqua Ware つぶやきブログ
上記の記事は、 node.js + Puppeteer ...
1
票
承認済み
Seleniumの要素を特定しているnameの取得方法が分からない?
コメントをいただきました。
Chromeの場合、lazy loadingが働いているのではないか。chrome://new-tab-page/lazy_load.js を見ますと、URLSearchParams;searchParams.append("q",this.finalResult_);と書かれている
FirefoxでInspectすると<input ...
1
票
スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される
ヘッドレスChromeの言語設定を英語→日本語にすることで解決しました。
参考:
【Selenium】ヘッドレスChromeの言語設定を英語→日本語にする
以下のオプションを追記
options.add_argument('--lang=ja-JP')
ありがとうございました。
1
票
承認済み
PythonでExcelからデータ読込後、ブラウザで検索
コメントに書きましたが、df_from,df_toでは全体が送られるので、ループカウンタを行位置としてdf_from[i],df_to[i]のように指定します。
他の指摘も含めて以下のようにすれば出来るでしょう。
####でコメントした所を見ておいてください。
from selenium import webdriver
import pandas as pd
import time
df = ...
1
票
承認済み
Seleniumを使ったスクレイピングで、最後のページが終了したらbreakさせたい。
「セレクターが取得できないエラーが出てしまいます。」ということなので、それを基にtry: except:で判定して終了させれば良いでしょう。
以下のような感じで出来ると思います。
#『次へ』ボタンから次のページURLを取得、なければ終了
try:
next_page = driver.find_element_by_css_selector(...) ## 長いので省略
...
1
票
RSpecで ' Failed to find Chrome binary.'のエラーが解決できない
解決しました。
エラーの原因は本来/Applications/Google Chrome.appであるべきところが/Applications/Google Chrome2.appとなっていたことでした。おそらくPCのセットアップ時にクロームを2回インストールしてしまい、Google Chrome2.appを使用していた様です。
1
票
Webdriverでの「Timed out waiting for driver server to start」
WebDriverのインスタンスがドライバーを起動できなかったというエラーなんです。恐らく、使用されてるバージョンが適切ではないでしょう。
とりあえず、以下の修正方法を試してみてください。
ChromeDriverを最新版にする
ChromeDriverのバージョンによって、Chromeのバージョンを適切のにする(例えば、ChromeDriver 80.0.3987.16の場合はChrome ...
1
票
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
Headless Chromeでにっちもさっちもいかないとき とか headless chromeをpythonで動かしてみた が参考になるのでは?
以下、前者のリンクからウィンドウサイズを調整するオプションを引用
ウインドウサイズを大きくする
ウインドウサイズが小さいとHTMLが崩れたりDOM要素が重なったりして意図しない結果になることがある。
options = Selenium::...
コミュニティ wiki
1
票
Selenium, Python3, コンボボックスの現在の値の取得方法
Select を取得しているのですから以下のメソッドで選択されているoption要素がすべて取得できます。
Select#all_selected_options
単一選択なら以下のようにすればよいのでないでしょうか?
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common....
1
票
Selenium, Python3, コンボボックスの現在の値の取得方法
driver.execute_script("return document.getElementsByClassName('field__select')[0].value;")
で解決
1
票
cron実行について
可能です。
WebDriverの仕様上は可能なはずですが、ブラウザーごとの実装に大きく左右されそうなのでターゲットブラウザーで一度試してみてください。
個人的には、cronよりも、実行時のデスクトップセッションの有無等 細かい前提条件を設定により保証できる何らかのタスクスケジューラー(Jenkinsなど)を利用する方がおすすめです。
1
票
Selenium-Webdriverのフレーム取得方法
最上位のフレームに戻すのは switch_to.default_content です
driver.switch_to.default_content
1
票
selenium webdriverでのページ遷移
IWebElement submit = _webDriver.FindElement(By.ClassName("classname"));
これはsubmitボタンでしょうか?
submit.Click();
では動かないですか?
無効化に投票
関連するタグ
selenium-webdriver × 49selenium × 31
python × 19
python3 × 14
chromedriver × 8
ruby × 5
google-chrome × 5
c# × 4
web-scraping × 4
php × 3
ubuntu × 3
html × 2
windows × 2
laravel × 2
excel × 2
firefox × 2
microsoft-edge × 2
javascript × 1
java × 1
ruby-on-rails × 1
macos × 1
docker × 1
pandas × 1
nginx × 1
vba × 1