[selenium] タグが付いた質問
110
質問
0
票
1
回答
123
閲覧数
pythonでseleniumのwindow_handlesがフリーズする
下記のコードでdriver.window_handlesがフリーズします。
常にフリーズするのではなく、10回に1度程度の頻度で発生します。
エラーメッセージや例外の発生はありません。
やりたい事は、特定のタイトルを持つウィンドウに制御を切り替える
ことです。
データ依存があるのが分かっていて、このコードの前にボタンをクリックして
...
0
票
0
回答
64
閲覧数
スプレッドシート上にあるURLリストをスクレイピングした結果を隣のセルに反映させたい
スプレッドシートB列にURLの一覧があるのですが,find_element_by_link_textを使用しNoSuchElementExceptionが返ってきた場合にURLと同じ行のA列に何か文言を入れて反映させることは可能ですか?
import gspread
from google.oauth2.service_account import Credentials
from ...
0
票
1
回答
70
閲覧数
seleniumのStaleElementReferenceExceptiontエラーの対処方法ご教授ください
質問
下記コードを実行したときにStaleElementReferenceExceptionになります。
最初は出ていませんでしたがほぼ100%表示されるようになりました。
試した内容
sleepで待ち時間を設定 ダメでした
x_pathの要素を配列にいれてfor文に入れる ダメでした
for w in dd:
ddd.append(w)
初心者なのでやり方がおかしいかもしれません…
...
0
票
0
回答
105
閲覧数
xpathで取ったものをループで配列に入れるやり方がわからない
from selenium import webdriver
import sys
import time
from selenium.webdriver.common.by import By
#
total = 0
item_counter = 0
#
browser = webdriver.Chrome(executable_path="chromedriver.exe"...
0
票
0
回答
143
閲覧数
seleniumでGoogleを開こうとスクレイピングする際、WebdriveException:Message:chrome not reachableとでてしまい開けません
プログラムの勉強を始めたばかりで、YouTubeや本などの模写?みたいのをしています。
スクレイピングの動画で下記のプログラムをうったところ、
WebdriveExceptionと出てしまいgoogleを開けませんでした。
seleniumやbrewなどのインストールはすませてあります。
browser.get('http://www.google.com./')
0
票
1
回答
206
閲覧数
Selenium を使って Firefox を起動したい
現象
VSCodeで開いたJupyter Notebookで下記のPythonのコードを実行すると、エラーが表示されてFirefoxが起動できません。
from selenium import geckodriver
ImportError Traceback (most recent call last)
/tmp/...
1
票
1
回答
583
閲覧数
Python seleniumでPDFを好きなディレクトリに保存したい
Python selenium でダウンロードしてきたファイルを指定したディレクトリに保存したいです.
↓サイトを参考にしましたが“Downloads”フォルダに入ってしまいます.
https://qiita.com/KWS_0901/items/33ae052e2e4694a6b4f1
↓サイトの方法を試しましたが解決しませんでした.
https://ja.stackoverflow.com/...
0
票
1
回答
214
閲覧数
seleniumで要素を取得できない
http://www1.river.go.jp/cgi-bin/SrchSiteSui2.exe
こちらのリンク先にある水系と観測項目をpythonのseleniumを使って自動入力したいです。
まずは一つずつ、水系から試そうと思い以下のコードを実行しました。
from selenium import webdriver
from selenium.webdriver.support.ui ...
0
票
2
回答
364
閲覧数
lambda上でheadlesschromeを使ってseleniumを動かそうとするとエラーになる
マルチポストです。
https://teratail.com/questions/375966
teratailでも回答を募りましたが、
解決に至らなそうなのでこちらでも投稿させていただきます。
lambda上でheadlesschromeを使ってseleniumで操作したいのですが、
上手くいきません。
環境構築はこちらを参考にしました。
バージョン等もこちらと同じです。
https://...
0
票
1
回答
114
閲覧数
seleniumを使ってTwitterのキーワードを複数検索したい
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
C列に都市2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
No
国
都市
1
アメリカ
ロスアンゼルス、ニューヨーク、カリフォルニア
2
日本
東京、京都
3
オーストラリア
シドニー
検索したい順番
...
1
票
1
回答
1,114
閲覧数
seleniumを使ったweb操作で別タブに開いてしまったサイトのurlを取得したい
seleniumでWebを開いた後,ユーザが操作をすることで開いたページのurlを取得しようとしました.
from selenium import webdriver
import time
browser = webdriver.Chrome('chromedriver.exe')
browser.get('https://kakolog.jp/q/')
while True:
...
2
票
1
回答
119
閲覧数
pythonを使ってChrome上でHTMLファイルを開く
pythonを使って、Chrome上でHTMLファイルを表示しています。
HTMLファイルのパスに"#"があると、手動で開く時は問題がないのに、pythonからですと、
ファイルにアクセスできませんとChrome上で表示されてしまいます。
"#"をパスから取り除くと、pythonからちゃんと開けます。
pythonでは、ファイルパスに”#”...
0
票
0
回答
93
閲覧数
SeleniumをJavaScript(Node.js)で制御してGoogle Chromeを開きたいのですが、開きません。
現象
SeleniumをJavaScript(Node.js)で制御してGoogle Chromeを開きたいが、Google Chromeが起動しない。
期待値
掲載したコードを実行すると、Google Chromeを起動できるようにしたい。
再現手順
OS Pop!_OS 21.04
下記のコードを~$ node testで実行する。
test.js
const {Builder, By, ...
1
票
2
回答
1,523
閲覧数
エラー: stale element reference: element is not attached to the page document
以前は上手くテキストファイルにアウトプットされていたのですが、最近になってエラーが出ます。
エラー: stale element reference: element is not attached to the page document
やりたい事は、テキストファイルのデータを一行ずつ読み込み、ループで処理、アウトプットファイルにGoogle検索結果を書き出すという事です。
...
0
票
0
回答
717
閲覧数
pythonでのseleniumを用いたwebプロキシの設定について
pythonのseleniumをchromeで動かしてユーザー名とパスワードの設定のあるwebプロキシに自動的に接続できるようにしたいのですが、思うようにすすみません。
ubuntu20.04の実機を使ってcronで定期的にwebプロキシに接続をしてサイト情報を引っ張ってきたいのですが、headlessモードになると拡張機能を使うことが出来ずに失敗になってしまいます。
...
2
票
0
回答
179
閲覧数
同じ名前のclassがついているボタンから1つのボタンをクリックさせたい
やりたいこと
pythonとseleniumを使用して、毎日入力している勤怠の登録を自動化したいと考えています。
何をどうしたいか
現在苦戦しているところが、日付の分出てきているボタンをクリックすることです。
ボタンの箇所のhtmlは、実際のソースとは違いますが、以下のような形で日付分出てきています。
<table>
<tbody>
//1~5日のもの
...
0
票
0
回答
168
閲覧数
ChromeでHTMLファイルをPDF保存時のページサイズ指定が動作しない
Chrome上でHTMLファイルを開いて、PDFに保存するというのをやりたくて、
下記コードを書きましたが、コード中のappState内の"pageSize"をA3、A5、レターサイズと
どんなに値を変えて指定しても、出力されたPDFファイルのページサイズがA4となってしまいます。
appState内の他のプロパティ"isLandscapeEnabled"や&...
2
票
0
回答
171
閲覧数
Selenium で Chrome をモバイルモードで開くと位置情報を変更できません
SeleniumでChromeをモバイルモードで開いて位置情報を変更したいのですが、
MobileEmulation設定をするとGeoLocation設定が無視されてしまいます。
MobileEmulationなしだと位置情報の変更はできているので、
モバイルエミュレータを有効にすると位置情報の設定はできないということでしょうか?
options=options.add_argment("...
0
票
0
回答
121
閲覧数
Pythonでスクレイピング データを取得してCSVの該当箇所に書き込みたい
前提・実現したいこと
Pythonでスクレイピング データを取得してCSVに書き込みたいです。
セレニウムとPandasを利用しています。
Python3ヶ月目ほどで 本を読んだり検索したりしながら進めている状態です。
注文番号がはいったCSVファイルがあります。
この注文番号をURLに含めると 注文データの記載されたページにアクセスできるので、
そこから情報を取得して ...
0
票
0
回答
81
閲覧数
seleniumでangularのサイトをスクレイピング
seleniumでangularのサイトをスクレイピングしているのですが、inputのvalueを取得したいのですが、そもそもvalue属性が含まれておらずお手上げの状態です。誰か助けて下さい。よろしくお願いします。
0
票
1
回答
145
閲覧数
ExcelからTwitter(selenium)で特定の条件がある場合、繰り返し処理を行う方法について
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
B列に同じ国が2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
1 アメリカ カリフォルニア
1 アメリカ フロリダ
2 フランス パリ
3 日本 東京
検索したい順番
アメリカ "...
1
票
2
回答
1,053
閲覧数
selenium でのループ処理中にエラー発生時も終了しないようにしたい
seleniumを使用してスクレイピングをしようと考えています。
xpathの一部を変数にしてループさせてテキストを表示しようと考えています。
わからないこと
ループで回して取得しようとするのですが、取得する値の数がその時々で変わるので
何回ループを回せばよいのかわかりません。
ですので、該当するxpathが存在しなかった場合、ループを終わりにしたいのですが、うまくいかずエラーが起きてしまいます。
...
1
票
0
回答
360
閲覧数
seleniumでのxpathのループ
seleniumを使用してスクレイピングをしたいと考えています。
下記のコードを実行するとxpathの部分のテキストが表示されます。
elem_username = browser.find_elements_by_xpath('//*[@id="__next"]/div/div[4]/div/ul/div[1]/a/div/div[2]/div/ul[1]/li')
...
1
票
0
回答
172
閲覧数
seleniumでスクレイピングをする際、xpathのループの仕方がわかりません。
実行環境
windows10
python3
jupyterlab
前提・実現したいこと
ツイキャスのランキングから配信者の名前とtwitterのリンクをseleniumを使用し
スクレイピングしたいと考えています。
xpathの一部を変えてループをしようとした段階でエラーが起きてしまいました。
実際のコード
from time import sleep
from selenium import ...
0
票
1
回答
838
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
2
回答
1,448
閲覧数
Seleniumで取得保存したファイル名の特定
Ubuntu+Python+SeleniumでChromeを自動化し、Saveボタンをクリックしてファイルをローカルに保存するところまで出来ましたが、このファイル名が手動で制御出来ず、取得元のサイトが検索ワードに基づいて付けた適当な名前になります。
この、たった今保存されたファイルのファイル名をPythonで取得する場合、どの方法が賢いでしょうか。
ディレクトリを検索し、...
0
票
1
回答
480
閲覧数
Seleniumの要素を特定しているnameの取得方法が分からない?
こちらのQiita記事を参考にSeleniumの勉強をしています。
Ubuntu、Python3、Chromeを使っています。
以下のサンプルコードについて質門です。
import time
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.google.com/')
time....
0
票
1
回答
213
閲覧数
for文でのappendについて
python・プログラミング初めて3日ほどのド初心者です。
今回、Python・SeleniumでのWebスクレイピングに挑戦しております。
質問に際して、至らない点ございましたら、申し訳ございません。
実現したいこと
next_page_url_all → 「次のページ」をクリックした際に表示されるをURLを事前に取得しています。(リスト)
...
0
票
1
回答
108
閲覧数
Rubyでseleniumを使ってremoteで接続する際にNet::ReadTimeoutになる
現在、DockerCompose上のRubyでseleniumを使って、別サーバにchromeを使いたいのですがうまく動作しません。
以下に各種コードとエラー内容を書かせていただきます。
DockerCompose.yml
version: "3"
services:
rails:
build:
context: .
dockerfile:...
0
票
1
回答
268
閲覧数
スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される
Seleniumのスクレイピングについてご質問させていただきます。
現在、↓のページのスクレイピングスクリプトを書いています。
https://www.gakujo.ne.jp/2022/company/baseinfo/22242/
環境
MacBook Pro
Google Chrome
Jupyter Notebook
Selenium
症状
見出しの一部(『プロフィール』)...
0
票
1
回答
757
閲覧数
Edgeブラウザでseleniumを使用できない
Edgeブラウザでseleniumを使用しようとする際に
以下のようなエラーがありました。
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: No matching capabilities found
...
0
票
1
回答
405
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
1
回答
224
閲覧数
Excel to Selenium プルダウンリスト
やりたいこと
Excelからデータを読み込みプルダウンリストからデータを選択したいです。
下記のコードのように試してみましたが、エラーのようにエレメントが見つかりません。
なお、45行目で以下のようにテキストを指定すると成功します。
select.select_by_visible_text("10時台")
...
0
票
1
回答
433
閲覧数
「指定したurlへ遷移する」のサンプルコードが実行できません
Python初心者です。
インターネットで調べました「指定したurlへ遷移する」のサンプルコード
from selenium import webdriver
driver = webdriver.Chrome("C:/Desktop/chromedriver.exe")
driver.get("https://www.yahoo.co.jp/")
...
0
票
1
回答
722
閲覧数
FirefoxをPythonのSeleniumで起動する時、proxyのusernameとpasswordを入力する方法
FirefoxをPythonのSeleniumで起動する際、下の画像の様にproxyのusernameとpasswordの入力を要求されますが、
こちらをpythonのscriptから入力する方法を教えていただけないでしょうか。
私の実行環境
Ubuntu 18.04.3 LTS
Python 3.9.1
selenium 3.141.0 py39h07f9747_1002 conda-...
0
票
1
回答
647
閲覧数
チェックボックスをJavascriptでチェックできてもinput type="checkbox" の後にcheckedが付かない
Python、seleniumで社内サイトをスクレイピングしているのですが、チェックボックスにチェックをいれてから、押すボタン【確定ボタン】があります。
そこで、seleniumでそのサイトまでアクセスしたのち、下記のスクリプトでチェックボックスにチェックを入れようと考えました。
script = 'document.querySelector("チェックボックスのCSSセレクタ&...
0
票
1
回答
1,771
閲覧数
Google Chromeの自動更新を停止したい
環境
macOS high sierra
Google Chrome 86.0.4240.80 (Official Build) (x86_64)
理由
seleniumを使用しており、バージョンが変更されるたびにwebdriverをインストールするのが大変なので、chromeの自動更新を停止したいです。
試した事
下記のサイトを参考に defaults write com.google....
0
票
1
回答
570
閲覧数
send_keys elementNotInteractableException エラー
Pythonのseleniumについての質問です。
社内web なので、ウェブサイトを記載する事ができないことをご了承ください。
Webサイトのイメージは、こんな感じです。
Google Chromeで特定のサイトに移動し、driver.find_element_by_xpath("//*[@id='aaa']/div[4]/div[3]/div/div[1]/div[2]")...
0
票
0
回答
232
閲覧数
seleniumで普段使用するchromeを自動操縦した後に全てのサービスに再ログインを求められる。
環境
mac os highsierra
Python3.8
selenium
chrome ver.85
問題
1:困っている
seleniumで普段使用するchromeのユーザプロファイルを指定して自動操縦した後にchromeを閉じて、起動して手動に切り替えると今までログインしていたサービス(twitter, spotify, スタックオーバフロー等...)...
0
票
1
回答
1,302
閲覧数
selenium の find_element_by_xpath でエラーが出力される
商品をカートに入れるプログラムを書いているのですが、上手く動作しません。
ユーザのプロファイルを指定してseleniumを実行したくて追加しました。
# options.add_argument('--user-data-dir=user')
# options.add_argument('--profile-directory=profile')
# options.add_argument('-...
0
票
1
回答
550
閲覧数
Seleniumを使ったスクレイピングで、最後のページが終了したらbreakさせたい。
目的
↓のURLに表示される全ての一覧ページの求人詳細URLを取得したい。
(ただし、求人の数は変動する。今回は291件)
https://next.rikunabi.com/eigyo/lst_jb0101020000/
期待する結果
[https://next.rikunabi.com/company/cmi2566412298/nx1_rq0016317040/?fr=cp_s00700&...
-1
票
1
回答
1,329
閲覧数
c#でseleniumを利用すると利用メモリがどんどん増えていく
c#でseleniumを利用しているのですが、下記コードのvar html = driver.PageSource;を実行するたびに使用メモリが増えていき、すぐにメモリがいっぱいになってしまいます。
1時間もすると、利用メモリが4GBに到達し、OutOfMemoryExceptionを発生してしまいます。
driver.Quit();の前にdriver.Close()を入れてみたり、...
0
票
1
回答
1,278
閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
0
回答
1,003
閲覧数
seleniumをブラウザ上で実行できない
環境
Conoha VPS
CentOS Apache2.0
Python 3.75
Google Chrome 83.0.4103.116
ChromeDriver 83.0.4103.39
selenium Version: 3.141.0
ディレクトリ
/var/www/cgi-bin/test.py 755
#!/usr/bin/env python
# -*- coding:...
0
票
0
回答
99
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
1
回答
2万
閲覧数
seleniumで要素取得したいが,2つ同名のものがあるため,後者を選択できない
<a href="URL" target="_blank" class="button button-color-2">新規会員登録</a>
<a class="button">ログイン</a>
ここで,
driver.find_element_by_css_selector('.button').click()
0
票
1
回答
387
閲覧数
Ubuntu19.10のChromiumのログの場所がわからない
Ubuntu19.10を使っているのですが、Chromiumのログの場所がわかりません。どこにあるのでしょうか?
seleniumからChromiumを操作していて、なにかしらのエラーが起こるのでその時のChromiumのログを見たいです。
どうも起動時のオプションに--enable-loggingと --log-level=0を設定すると~/.config/chromiumに
...
0
票
1
回答
223
閲覧数
CSVに書いたURLのスクショをSeleniumで撮影する方法
下記のページを参考に試してみたのですがうまくいきませんでした。
CSVに書いたURLを順番に開いて全画面スクリーンショットを取るスクリプト - Qiita
urls.csv内のURL情報を read_csv.py で読み込むのは成功。
しかし、test_screenshot.py 内の ChromeDriverManager というモジュールが自分のPCに無いらしくスクショを撮影できません。
...
1
票
1
回答
871
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
0
回答
430
閲覧数
VBA Selenium ChromeDriver Webメールに添付ファイルを付けたい
roundcube webmail で vba selenium chromedriver を使用してメール作成、送信を試みています。
タイトル、本文などは入れられたのですが、添付ファイルを設定する方法がどうしてもわかりません。ご存じの方、ご教授お願いします。
With CreateObject("Selenium.ChromeDriver")
.Start
.Get "...