[selenium] タグが付いた質問
128
質問
0
票
0
回答
104
閲覧数
handshake failed; returned -1, SSL error code 1, net_error -100のエラー出力
サイズの小さいwebページだとエラー文が出力されずにスクリーンショットを撮ることが出来るのですが、サイズの大きいwebサイトを撮ろうとするとエラー文が出力され続け、一枚撮るのに三分ほどかかります。この解消方法をずっと調べているのですが、厳しいです。わかる方いらしたら何卒宜しくお願い致します。
# selenium 4
from selenium import webdriver
from ...
0
票
0
回答
83
閲覧数
PHPから呼び出されたpythonの出力結果がおかしくなる
python2ではPHPファイルからURLを持ってきています。ソースコードはほぼ同じなのに下記でエラーが出力されるのがよくわかりません。わかる方宜しくお願い致します。
python1
from selenium import webdriver
from selenium.webdriver.chrome.service import Service as ChromeService
from ...
0
票
0
回答
47
閲覧数
AWS lambda+seleniumでHTMLが描画されない
AWS lambda上でSelenium(python)を用いて
https://app.squadbeyond.com/
このサイトをスクレイピングしようとしています。
ローカルではうまくいくのですが、AWS上で実行しようとすると、画面が真っ白でHTML要素が表示されません。
time.sleepやwait系の類は何度も試しているので違います。
また、UA偽装も関係ありませんでした。
...
0
票
0
回答
89
閲覧数
seleniumを使ったスクレイピングでボタンをクリックする方法が知りたい
最近seleniumを使ったスクレイピングを勉強し始めたものです。
よろしくお願いいたします。
言語はpythonでVScodeを用いて実行しています。
やりたいことは、Googlemapのタイムラインを自動でダウンロードすることなのですが、
タイムラインを開くmenuボタンをクリックしようとしたところ、エラーになってしまいました。
実行しようとしてエラーが出てる箇所は以下の通りで
...
1
票
0
回答
262
閲覧数
SeleniumでIE Driverを使用し、edge IEモードにてScreen Lock画面中に操作したい
EdgeをIEモードで立ち上げ、IE Driverを用いてサイトを開き、操作しています。
通常使用するのであれば問題無いのですが、スクリーンをロックした状態で使用したいと考えています。
しかし、画像の様にスクリーンをロックした状態ですと指定したサイトを開くことができません。
回避方法をご存知でしたらご教示ください。
private void button1_Click(object sender, ...
0
票
0
回答
122
閲覧数
AWS lambda pythonで位置情報を設定してseleniumスクレイピングをしたい
前提
使用環境
AWS lambda python3
seleniumを用いて位置情報を設定してスクレイピングするプログラムを作成しています.
実現したいこと
AWS lambda python3 の環境でselenium + headless chromium + chromedriverを用いてchromeに位置情報をsetしてスクレイピングしたい.
発生している問題・エラーメッセージ
...
0
票
0
回答
141
閲覧数
スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。
前提
閲覧頂きありがとうございます。
為替レートの情報を自動で取得したく
スクレイピングを試みています。
下記のサイトでCookieの同意をクリックした後、
「Amount you paid」の項目に入力するため要素の取得をしたいのですが、
要素が見つからずエラーとなります。
■対象ページ
https://usa.visa.com/support/consumer/travel-support/...
0
票
0
回答
303
閲覧数
seleniumでChrome,Edgeのプリンタ指定 特に開発者ツール
seleniumでChromeで印刷画面からプリンタを指定しようと思っています。
言語はVBAかpythonになりますが、どちらかというと開発者ツールの挙動についてお聞きしたいです。
とりあえずChrome+VBAにします。
以下のコードでプリンタ指定ダイアログが開きます。
ここで、プログラム側からは 「もっと見る..」をクリックしたいのですが、dom,またはJSPathを調べようと思い、検証(...
0
票
0
回答
33
閲覧数
HtmlUnitDriverでframe switchした後にiframe 内の要素が何も取得できない
Javaでselenium.htmlunit.HtmlUnitDriver (selenium-server-standalone-3.9.1 jar)を使って、あるページをスクレイプしています。
ページは2つのiframeで構成されています。最初にページ全体をget()してgetPageSource()を見ると内包されたiframeの内容含め全て取得されているように見えます。そして、...
0
票
0
回答
312
閲覧数
RailsのDocker環境下でsystem specをselenium-webdriverを使用して動かしたい
現在『Everyday Rails RspecによるRailsテスト入門』でRspecを学習している者です。
タイトルの通り、system specを動かしたいのですが、様々な手法を試みたものの動かすことができず質問させていただきます。
selenium-webdriverというgemを使用して、dockerの本番環境以外でchromeを使用できるようにして、system ...
2
票
2
回答
149
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
3
票
2
回答
259
閲覧数
Pythonにて、引数をループ処理で増やしていく事はできますか?
Python3.10.2とseleniumを使用しています。
商品コードを入力、表示された在庫数をスクレイピングしてCSVに保存、という流れなのですが、商品数が増えてきたので、ループ処理に変更したく思っています。
ループしたい処理は下記になります。
send_data(n)を1~4000ぐらいまで増やしていく処理ができないか考えています。
...
1
票
2
回答
1,441
閲覧数
Tkinterにてボタンが押されるまで次の処理を待機したい
TkinterとSeleniumを使ったアプリケーションで,スタートを押すとChromeが起動し,スタートを押すと
input('>何かを入力すると,コンソールにp要素のテキストを表示')
が動作し,コンソールでエンターキーなりを押すまでp要素の取得を待ちます.
次に
input('>何かを入力すると,コンソールにh2要素のテキストを表示')
が動作し,同じくh2要素の取得を待ちます.
...
1
票
1
回答
526
閲覧数
Tkinterにて,ボタンが押されるまで次の処理を待機する方法を教えてください.
TkinterとSeleniumを使ったアプリケーションで,スタートを押すとChromeが起動し,スタートを押すと
input('>何かを入力すると,コンソールにp要素のテキストを表示')
が動作し,コンソールでエンターキーなりを押すまでp要素の取得を待ちます.
次に
input('>何かを入力すると,コンソールにh2要素のテキストを表示')
が動作し,同じくh2要素の取得を待ちます.
...
0
票
1
回答
175
閲覧数
Selenium と concurrent.futures を使ったタスク実行が、スクリーンセーバーで停止してしまう
Pythonにて Seleniumで、あるURLのアクセスをThreadPoolExecutorにて並列4 taskで実行するscriptを組んでいるのですが、実行時から約1時間ほどは期待通りのタスクが次々に完了していくのですが、macの画面がscreen saverに切り替わった時、...
0
票
0
回答
99
閲覧数
Pythonでsafariをプライベートモードで開きたい
pythonでブラウザを開いて、WEBサイトを表示する通常の方法は
>>> import webbrowser
>>> url = "https://www.google.com"
>>> webbrowser.open(url)
となると思いますが、これを
safariで、かつブライベートモードで開きたいのですが、...
1
票
1
回答
264
閲覧数
Python CSV出力が上手くいきません。
見よう見まねでトライしてみたスクレイピングをcsv出力しようとしました。
しかし添付の画像のような出力にしかなりません。
エラーは特にでていませんが、どこをどう修正すれば良いかご教授いただけたら幸いです。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from ...
-1
票
1
回答
202
閲覧数
Pythonでプレミアリーグの第一試合の勝ち点数を分析したい
selenium・openpyxlを使って、節ごとプレミアリーグの第一試合の結果を抽出してエクセルへ書き込みたいです。
プレミアリーグの試合数の結果を使って勝ち点数の分析をしています。
先ずは第一試合のみ分析したいので、節ごとの勝ち点が1点より大きい試合の勝ち点を次の行へ追加したいです。
実現したい内容
❶読み込みエクセルから、節ごとを読み込み、
節ごとプレミアリーグの第一試合へ検索します。
...
0
票
3
回答
389
閲覧数
PythonでURLのリストから特定のIDを抽出したい
seleniumを使って、yahoo newsのwebサイトからURLを抽出して
IDのみ取得したいです。
実現したい内容
❶からURLを取得してから、❷IDのみ取得したいです。
❶URL取得
['https://news.yahoo.co.jp/pickup/6435551']
['https://news.yahoo.co.jp/pickup/6435550']
['https://news....
0
票
0
回答
1,006
閲覧数
PythonにてSeleniumのrequests.exceptions.SSLErrorを解消したい
PythonでSeleniumを使って下記のWEBサイトをスクレイピングしています。
https://shoply.co.jp/
エクセルからJAN_CODEを読み込んで、サイトへJAN_CODEを検索して、画像・商品名・価格をエクセルに入れています。
エクセルデータ
JAN_CODE,画像,商品名,価格
4953103354739
4953103289055
4589591675799
...
0
票
1
回答
107
閲覧数
find_element(By)にURLによって変わる要素を入れたい
以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。
df1:
URL ID
aaa 1
bbb 2
ccc 3
ddd 4
... ...
df2:
ID txt
1 xxx
2 yyy
3 zzz
4 ...
0
票
1
回答
1,358
閲覧数
driver.find_element(By.LINK_TEXT, "XXXX")でエラーになるものとならないものがある
以下のコードの①ではエラーもなく押下できますが②だと③のエラーが出力されてしまいます。
原因を教えていただきたいです。関係無いかもしれませんがpip listの結果もコードの下に貼りました。
① driver.find_element(By.LINK_TEXT, "ログイン")
② driver.find_element(By.LINK_TEXT, "FX取引スタート&...
0
票
1
回答
7,394
閲覧数
PythonでSeleniumを使ってChromeを自動的に落ちさせない方法
Pythonでselenium+Chromeを利用した際にYahooページを開き、ショッピングのメニューをクリックすると自動的にchromeが落ちてしまいます。
Yahooページだけではなく他のサイトを開く際も同じです。
以前は drive.close() を指定するとChromeが閉じました。
PythonのバージョンやSeleniumによってChromeは自動的に落ちますか。
...
0
票
1
回答
577
閲覧数
pythonでseleniumのwindow_handlesがフリーズする
下記のコードでdriver.window_handlesがフリーズします。
常にフリーズするのではなく、10回に1度程度の頻度で発生します。
エラーメッセージや例外の発生はありません。
やりたい事は、特定のタイトルを持つウィンドウに制御を切り替える
ことです。
データ依存があるのが分かっていて、このコードの前にボタンをクリックして
...
0
票
1
回答
655
閲覧数
seleniumのStaleElementReferenceExceptiontエラーの対処方法ご教授ください
質問
下記コードを実行したときにStaleElementReferenceExceptionになります。
最初は出ていませんでしたがほぼ100%表示されるようになりました。
試した内容
sleepで待ち時間を設定 ダメでした
x_pathの要素を配列にいれてfor文に入れる ダメでした
for w in dd:
ddd.append(w)
初心者なのでやり方がおかしいかもしれません…
...
0
票
0
回答
291
閲覧数
seleniumでGoogleを開こうとスクレイピングする際、WebdriveException:Message:chrome not reachableとでてしまい開けません
プログラムの勉強を始めたばかりで、YouTubeや本などの模写?みたいのをしています。
スクレイピングの動画で下記のプログラムをうったところ、
WebdriveExceptionと出てしまいgoogleを開けませんでした。
seleniumやbrewなどのインストールはすませてあります。
browser.get('http://www.google.com./')
0
票
1
回答
750
閲覧数
Selenium を使って Firefox を起動したい
現象
VSCodeで開いたJupyter Notebookで下記のPythonのコードを実行すると、エラーが表示されてFirefoxが起動できません。
from selenium import geckodriver
ImportError Traceback (most recent call last)
/tmp/...
1
票
1
回答
2,512
閲覧数
Python seleniumでPDFを好きなディレクトリに保存したい
Python selenium でダウンロードしてきたファイルを指定したディレクトリに保存したいです.
↓サイトを参考にしましたが“Downloads”フォルダに入ってしまいます.
https://qiita.com/KWS_0901/items/33ae052e2e4694a6b4f1
↓サイトの方法を試しましたが解決しませんでした.
https://ja.stackoverflow.com/...
0
票
1
回答
857
閲覧数
seleniumで要素を取得できない
http://www1.river.go.jp/cgi-bin/SrchSiteSui2.exe
こちらのリンク先にある水系と観測項目をpythonのseleniumを使って自動入力したいです。
まずは一つずつ、水系から試そうと思い以下のコードを実行しました。
from selenium import webdriver
from selenium.webdriver.support.ui ...
0
票
2
回答
947
閲覧数
lambda上でheadlesschromeを使ってseleniumを動かそうとするとエラーになる
マルチポストです。
https://teratail.com/questions/375966
teratailでも回答を募りましたが、
解決に至らなそうなのでこちらでも投稿させていただきます。
lambda上でheadlesschromeを使ってseleniumで操作したいのですが、
上手くいきません。
環境構築はこちらを参考にしました。
バージョン等もこちらと同じです。
https://...
0
票
1
回答
272
閲覧数
seleniumを使ってTwitterのキーワードを複数検索したい
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
C列に都市2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
No
国
都市
1
アメリカ
ロスアンゼルス、ニューヨーク、カリフォルニア
2
日本
東京、京都
3
オーストラリア
シドニー
検索したい順番
...
1
票
1
回答
3,785
閲覧数
seleniumを使ったweb操作で別タブに開いてしまったサイトのurlを取得したい
seleniumでWebを開いた後,ユーザが操作をすることで開いたページのurlを取得しようとしました.
from selenium import webdriver
import time
browser = webdriver.Chrome('chromedriver.exe')
browser.get('https://kakolog.jp/q/')
while True:
...
3
票
1
回答
262
閲覧数
pythonを使ってChrome上でHTMLファイルを開く
pythonを使って、Chrome上でHTMLファイルを表示しています。
HTMLファイルのパスに"#"があると、手動で開く時は問題がないのに、pythonからですと、
ファイルにアクセスできませんとChrome上で表示されてしまいます。
"#"をパスから取り除くと、pythonからちゃんと開けます。
pythonでは、ファイルパスに”#”...
1
票
2
回答
4,863
閲覧数
エラー: stale element reference: element is not attached to the page document
以前は上手くテキストファイルにアウトプットされていたのですが、最近になってエラーが出ます。
エラー: stale element reference: element is not attached to the page document
やりたい事は、テキストファイルのデータを一行ずつ読み込み、ループで処理、アウトプットファイルにGoogle検索結果を書き出すという事です。
...
0
票
0
回答
1,641
閲覧数
pythonでのseleniumを用いたwebプロキシの設定について
pythonのseleniumをchromeで動かしてユーザー名とパスワードの設定のあるwebプロキシに自動的に接続できるようにしたいのですが、思うようにすすみません。
ubuntu20.04の実機を使ってcronで定期的にwebプロキシに接続をしてサイト情報を引っ張ってきたいのですが、headlessモードになると拡張機能を使うことが出来ずに失敗になってしまいます。
...
3
票
0
回答
713
閲覧数
同じ名前のclassがついているボタンから1つのボタンをクリックさせたい
やりたいこと
pythonとseleniumを使用して、毎日入力している勤怠の登録を自動化したいと考えています。
何をどうしたいか
現在苦戦しているところが、日付の分出てきているボタンをクリックすることです。
ボタンの箇所のhtmlは、実際のソースとは違いますが、以下のような形で日付分出てきています。
<table>
<tbody>
//1~5日のもの
...
0
票
0
回答
318
閲覧数
ChromeでHTMLファイルをPDF保存時のページサイズ指定が動作しない
Chrome上でHTMLファイルを開いて、PDFに保存するというのをやりたくて、
下記コードを書きましたが、コード中のappState内の"pageSize"をA3、A5、レターサイズと
どんなに値を変えて指定しても、出力されたPDFファイルのページサイズがA4となってしまいます。
appState内の他のプロパティ"isLandscapeEnabled"や&...
3
票
0
回答
354
閲覧数
Selenium で Chrome をモバイルモードで開くと位置情報を変更できません
SeleniumでChromeをモバイルモードで開いて位置情報を変更したいのですが、
MobileEmulation設定をするとGeoLocation設定が無視されてしまいます。
MobileEmulationなしだと位置情報の変更はできているので、
モバイルエミュレータを有効にすると位置情報の設定はできないということでしょうか?
options=options.add_argment("...
0
票
1
回答
323
閲覧数
ExcelからTwitter(selenium)で特定の条件がある場合、繰り返し処理を行う方法について
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
B列に同じ国が2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
1 アメリカ カリフォルニア
1 アメリカ フロリダ
2 フランス パリ
3 日本 東京
検索したい順番
アメリカ "...
1
票
2
回答
3,244
閲覧数
selenium でのループ処理中にエラー発生時も終了しないようにしたい
seleniumを使用してスクレイピングをしようと考えています。
xpathの一部を変数にしてループさせてテキストを表示しようと考えています。
わからないこと
ループで回して取得しようとするのですが、取得する値の数がその時々で変わるので
何回ループを回せばよいのかわかりません。
ですので、該当するxpathが存在しなかった場合、ループを終わりにしたいのですが、うまくいかずエラーが起きてしまいます。
...
1
票
0
回答
966
閲覧数
seleniumでのxpathのループ
seleniumを使用してスクレイピングをしたいと考えています。
下記のコードを実行するとxpathの部分のテキストが表示されます。
elem_username = browser.find_elements_by_xpath('//*[@id="__next"]/div/div[4]/div/ul/div[1]/a/div/div[2]/div/ul[1]/li')
...
1
票
0
回答
293
閲覧数
seleniumでスクレイピングをする際、xpathのループの仕方がわかりません。
実行環境
windows10
python3
jupyterlab
前提・実現したいこと
ツイキャスのランキングから配信者の名前とtwitterのリンクをseleniumを使用し
スクレイピングしたいと考えています。
xpathの一部を変えてループをしようとした段階でエラーが起きてしまいました。
実際のコード
from time import sleep
from selenium import ...
0
票
1
回答
1,802
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
2
回答
3,329
閲覧数
Seleniumで取得保存したファイル名の特定
Ubuntu+Python+SeleniumでChromeを自動化し、Saveボタンをクリックしてファイルをローカルに保存するところまで出来ましたが、このファイル名が手動で制御出来ず、取得元のサイトが検索ワードに基づいて付けた適当な名前になります。
この、たった今保存されたファイルのファイル名をPythonで取得する場合、どの方法が賢いでしょうか。
ディレクトリを検索し、...
0
票
1
回答
1,122
閲覧数
Seleniumの要素を特定しているnameの取得方法が分からない?
こちらのQiita記事を参考にSeleniumの勉強をしています。
Ubuntu、Python3、Chromeを使っています。
以下のサンプルコードについて質門です。
import time
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.google.com/')
time....
0
票
1
回答
297
閲覧数
for文でのappendについて
python・プログラミング初めて3日ほどのド初心者です。
今回、Python・SeleniumでのWebスクレイピングに挑戦しております。
質問に際して、至らない点ございましたら、申し訳ございません。
実現したいこと
next_page_url_all → 「次のページ」をクリックした際に表示されるをURLを事前に取得しています。(リスト)
...
0
票
1
回答
291
閲覧数
Rubyでseleniumを使ってremoteで接続する際にNet::ReadTimeoutになる
現在、DockerCompose上のRubyでseleniumを使って、別サーバにchromeを使いたいのですがうまく動作しません。
以下に各種コードとエラー内容を書かせていただきます。
DockerCompose.yml
version: "3"
services:
rails:
build:
context: .
dockerfile:...
0
票
1
回答
566
閲覧数
スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される
Seleniumのスクレイピングについてご質問させていただきます。
現在、↓のページのスクレイピングスクリプトを書いています。
https://www.gakujo.ne.jp/2022/company/baseinfo/22242/
環境
MacBook Pro
Google Chrome
Jupyter Notebook
Selenium
症状
見出しの一部(『プロフィール』)...
0
票
1
回答
1,793
閲覧数
Edgeブラウザでseleniumを使用できない
Edgeブラウザでseleniumを使用しようとする際に
以下のようなエラーがありました。
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: No matching capabilities found
...
0
票
1
回答
724
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...