[selenium] タグが付いた質問

selenium はウェブブラウザ上のテスト操作を自動化し実行するためのツールです。

絞り込み
並べ替え
タグ付けされた
0
1 回答
65 閲覧数

Google ColaboratoryにGoogle Chromeの最新版とChromeDriverの最新版がインストールできないです。

Google Colaboratory上でSeleniumを動かしたいので、 Google Chromeの最新版 ChromeDriverの最新版 をそれぞれインストールしたいです。 しかし、実行してもエラーが出現します。 前提条件 開発環境はGoogle Colaboratory Seleniumでスクレイピングをしたい。 期待値 Google ...
kamome_run's user avatar
0
0 回答
75 閲覧数

python selenium で Torを使用してウィンドウごとにIPを変えてアクセスする方法はありますか?

python seleniumでchromeを使用して複数の画面で同時にサイトにアクセスしています。 ウィンドウごとに異なる処理をしたいのでIP制限にかからないよう、IPを変更したいと考えています。 現状、Torを通さないIPとTorを通したIPの2つまでしか運用できていません。 今まで試したことは Torを再起動させてIPを変える Torを再起動するとIPアドレスが変わるようなので、...
riku's user avatar
  • 1
0
0 回答
114 閲覧数

handshake failed; returned -1, SSL error code 1, net_error -100のエラー出力

サイズの小さいwebページだとエラー文が出力されずにスクリーンショットを撮ることが出来るのですが、サイズの大きいwebサイトを撮ろうとするとエラー文が出力され続け、一枚撮るのに三分ほどかかります。この解消方法をずっと調べているのですが、厳しいです。わかる方いらしたら何卒宜しくお願い致します。 # selenium 4 from selenium import webdriver from ...
yushi's user avatar
  • 3
0
0 回答
84 閲覧数

PHPから呼び出されたpythonの出力結果がおかしくなる

python2ではPHPファイルからURLを持ってきています。ソースコードはほぼ同じなのに下記でエラーが出力されるのがよくわかりません。わかる方宜しくお願い致します。 python1 from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from ...
yushi's user avatar
  • 3
0
0 回答
49 閲覧数

AWS lambda+seleniumでHTMLが描画されない

AWS lambda上でSelenium(python)を用いて  https://app.squadbeyond.com/ このサイトをスクレイピングしようとしています。 ローカルではうまくいくのですが、AWS上で実行しようとすると、画面が真っ白でHTML要素が表示されません。 time.sleepやwait系の類は何度も試しているので違います。 また、UA偽装も関係ありませんでした。 ...
staff3's user avatar
  • 1
0
0 回答
91 閲覧数

seleniumを使ったスクレイピングでボタンをクリックする方法が知りたい

最近seleniumを使ったスクレイピングを勉強し始めたものです。 よろしくお願いいたします。 言語はpythonでVScodeを用いて実行しています。 やりたいことは、Googlemapのタイムラインを自動でダウンロードすることなのですが、 タイムラインを開くmenuボタンをクリックしようとしたところ、エラーになってしまいました。 実行しようとしてエラーが出てる箇所は以下の通りで ...
user59112's user avatar
1
0 回答
262 閲覧数

SeleniumでIE Driverを使用し、edge IEモードにてScreen Lock画面中に操作したい

EdgeをIEモードで立ち上げ、IE Driverを用いてサイトを開き、操作しています。 通常使用するのであれば問題無いのですが、スクリーンをロックした状態で使用したいと考えています。 しかし、画像の様にスクリーンをロックした状態ですと指定したサイトを開くことができません。 回避方法をご存知でしたらご教示ください。 private void button1_Click(object sender, ...
Rumine's user avatar
  • 11
0
0 回答
125 閲覧数

AWS lambda pythonで位置情報を設定してseleniumスクレイピングをしたい

前提 使用環境 AWS lambda python3 seleniumを用いて位置情報を設定してスクレイピングするプログラムを作成しています. 実現したいこと AWS lambda python3 の環境でselenium + headless chromium + chromedriverを用いてchromeに位置情報をsetしてスクレイピングしたい. 発生している問題・エラーメッセージ ...
柿元裕紀's user avatar
0
0 回答
143 閲覧数

スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。

前提 閲覧頂きありがとうございます。 為替レートの情報を自動で取得したく スクレイピングを試みています。 下記のサイトでCookieの同意をクリックした後、 「Amount you paid」の項目に入力するため要素の取得をしたいのですが、 要素が見つからずエラーとなります。 ■対象ページ https://usa.visa.com/support/consumer/travel-support/...
shin t's user avatar
  • 1
0
0 回答
307 閲覧数

seleniumでChrome,Edgeのプリンタ指定 特に開発者ツール

seleniumでChromeで印刷画面からプリンタを指定しようと思っています。 言語はVBAかpythonになりますが、どちらかというと開発者ツールの挙動についてお聞きしたいです。 とりあえずChrome+VBAにします。 以下のコードでプリンタ指定ダイアログが開きます。 ここで、プログラム側からは 「もっと見る..」をクリックしたいのですが、dom,またはJSPathを調べようと思い、検証(...
ben bugsy's user avatar
0
0 回答
33 閲覧数

HtmlUnitDriverでframe switchした後にiframe 内の要素が何も取得できない

Javaでselenium.htmlunit.HtmlUnitDriver (selenium-server-standalone-3.9.1 jar)を使って、あるページをスクレイプしています。 ページは2つのiframeで構成されています。最初にページ全体をget()してgetPageSource()を見ると内包されたiframeの内容含め全て取得されているように見えます。そして、...
mori400's user avatar
0
0 回答
314 閲覧数

RailsのDocker環境下でsystem specをselenium-webdriverを使用して動かしたい

現在『Everyday Rails RspecによるRailsテスト入門』でRspecを学習している者です。 タイトルの通り、system specを動かしたいのですが、様々な手法を試みたものの動かすことができず質問させていただきます。 selenium-webdriverというgemを使用して、dockerの本番環境以外でchromeを使用できるようにして、system ...
にったま's user avatar
2
2 回答
150 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
Augusto_Soba's user avatar
3
2 回答
259 閲覧数

Pythonにて、引数をループ処理で増やしていく事はできますか?

Python3.10.2とseleniumを使用しています。 商品コードを入力、表示された在庫数をスクレイピングしてCSVに保存、という流れなのですが、商品数が増えてきたので、ループ処理に変更したく思っています。 ループしたい処理は下記になります。 send_data(n)を1~4000ぐらいまで増やしていく処理ができないか考えています。 ...
tak's user avatar
  • 31
1
2 回答
1,453 閲覧数

Tkinterにてボタンが押されるまで次の処理を待機したい

TkinterとSeleniumを使ったアプリケーションで,スタートを押すとChromeが起動し,スタートを押すと input('>何かを入力すると,コンソールにp要素のテキストを表示') が動作し,コンソールでエンターキーなりを押すまでp要素の取得を待ちます. 次に input('>何かを入力すると,コンソールにh2要素のテキストを表示') が動作し,同じくh2要素の取得を待ちます. ...
user avatar
1
1 回答
526 閲覧数

Tkinterにて,ボタンが押されるまで次の処理を待機する方法を教えてください.

TkinterとSeleniumを使ったアプリケーションで,スタートを押すとChromeが起動し,スタートを押すと input('>何かを入力すると,コンソールにp要素のテキストを表示') が動作し,コンソールでエンターキーなりを押すまでp要素の取得を待ちます. 次に input('>何かを入力すると,コンソールにh2要素のテキストを表示') が動作し,同じくh2要素の取得を待ちます. ...
user avatar
0
1 回答
176 閲覧数

Selenium と concurrent.futures を使ったタスク実行が、スクリーンセーバーで停止してしまう

Pythonにて Seleniumで、あるURLのアクセスをThreadPoolExecutorにて並列4 taskで実行するscriptを組んでいるのですが、実行時から約1時間ほどは期待通りのタスクが次々に完了していくのですが、macの画面がscreen saverに切り替わった時、...
n t's user avatar
  • 1
0
0 回答
100 閲覧数

Pythonでsafariをプライベートモードで開きたい

pythonでブラウザを開いて、WEBサイトを表示する通常の方法は >>> import webbrowser >>> url = "https://www.google.com" >>> webbrowser.open(url) となると思いますが、これを safariで、かつブライベートモードで開きたいのですが、...
MoreChoice's user avatar
1
1 回答
266 閲覧数

Python CSV出力が上手くいきません。

見よう見まねでトライしてみたスクレイピングをcsv出力しようとしました。 しかし添付の画像のような出力にしかなりません。 エラーは特にでていませんが、どこをどう修正すれば良いかご教授いただけたら幸いです。 from selenium import webdriver from selenium.webdriver.chrome.options import Options from ...
田中丸's user avatar
-1
1 回答
203 閲覧数

Pythonでプレミアリーグの第一試合の勝ち点数を分析したい

selenium・openpyxlを使って、節ごとプレミアリーグの第一試合の結果を抽出してエクセルへ書き込みたいです。 プレミアリーグの試合数の結果を使って勝ち点数の分析をしています。 先ずは第一試合のみ分析したいので、節ごとの勝ち点が1点より大きい試合の勝ち点を次の行へ追加したいです。 実現したい内容 ❶読み込みエクセルから、節ごとを読み込み、 節ごとプレミアリーグの第一試合へ検索します。 ...
幸589's user avatar
  • 445
0
3 回答
390 閲覧数

PythonでURLのリストから特定のIDを抽出したい

seleniumを使って、yahoo newsのwebサイトからURLを抽出して IDのみ取得したいです。 実現したい内容 ❶からURLを取得してから、❷IDのみ取得したいです。 ❶URL取得 ['https://news.yahoo.co.jp/pickup/6435551'] ['https://news.yahoo.co.jp/pickup/6435550'] ['https://news....
幸589's user avatar
  • 445
0
0 回答
1,009 閲覧数

PythonにてSeleniumのrequests.exceptions.SSLErrorを解消したい

PythonでSeleniumを使って下記のWEBサイトをスクレイピングしています。 https://shoply.co.jp/ エクセルからJAN_CODEを読み込んで、サイトへJAN_CODEを検索して、画像・商品名・価格をエクセルに入れています。 エクセルデータ JAN_CODE,画像,商品名,価格 4953103354739 4953103289055 4589591675799 ...
幸589's user avatar
  • 445
0
1 回答
107 閲覧数

find_element(By)にURLによって変わる要素を入れたい

以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。 df1: URL ID aaa 1 bbb 2 ccc 3 ddd 4 ... ... df2: ID txt 1 xxx 2 yyy 3 zzz 4 ...
kacha's user avatar
  • 3
0
1 回答
1,363 閲覧数

driver.find_element(By.LINK_TEXT, "XXXX")でエラーになるものとならないものがある

以下のコードの①ではエラーもなく押下できますが②だと③のエラーが出力されてしまいます。 原因を教えていただきたいです。関係無いかもしれませんがpip listの結果もコードの下に貼りました。 ① driver.find_element(By.LINK_TEXT, "ログイン") ② driver.find_element(By.LINK_TEXT, "FX取引スタート&...
kyouka's user avatar
  • 1
0
1 回答
7,432 閲覧数

PythonでSeleniumを使ってChromeを自動的に落ちさせない方法

Pythonでselenium+Chromeを利用した際にYahooページを開き、ショッピングのメニューをクリックすると自動的にchromeが落ちてしまいます。 Yahooページだけではなく他のサイトを開く際も同じです。 以前は drive.close() を指定するとChromeが閉じました。 PythonのバージョンやSeleniumによってChromeは自動的に落ちますか。 ...
幸589's user avatar
  • 445
0
1 回答
581 閲覧数

pythonでseleniumのwindow_handlesがフリーズする

下記のコードでdriver.window_handlesがフリーズします。 常にフリーズするのではなく、10回に1度程度の頻度で発生します。 エラーメッセージや例外の発生はありません。 やりたい事は、特定のタイトルを持つウィンドウに制御を切り替える ことです。 データ依存があるのが分かっていて、このコードの前にボタンをクリックして ...
かーとと's user avatar
0
1 回答
661 閲覧数

seleniumのStaleElementReferenceExceptiontエラーの対処方法ご教授ください

質問 下記コードを実行したときにStaleElementReferenceExceptionになります。 最初は出ていませんでしたがほぼ100%表示されるようになりました。 試した内容 sleepで待ち時間を設定 ダメでした x_pathの要素を配列にいれてfor文に入れる ダメでした for w in dd: ddd.append(w) 初心者なのでやり方がおかしいかもしれません… ...
user52334's user avatar
0
0 回答
291 閲覧数

seleniumでGoogleを開こうとスクレイピングする際、WebdriveException:Message:chrome not reachableとでてしまい開けません

プログラムの勉強を始めたばかりで、YouTubeや本などの模写?みたいのをしています。 スクレイピングの動画で下記のプログラムをうったところ、 WebdriveExceptionと出てしまいgoogleを開けませんでした。 seleniumやbrewなどのインストールはすませてあります。 browser.get('http://www.google.com./')
Python初心者's user avatar
0
1 回答
751 閲覧数

Selenium を使って Firefox を起動したい

現象 VSCodeで開いたJupyter Notebookで下記のPythonのコードを実行すると、エラーが表示されてFirefoxが起動できません。 from selenium import geckodriver ImportError Traceback (most recent call last) /tmp/...
atago_IT's user avatar
  • 237
1
1 回答
2,520 閲覧数

Python seleniumでPDFを好きなディレクトリに保存したい

Python selenium でダウンロードしてきたファイルを指定したディレクトリに保存したいです. ↓サイトを参考にしましたが“Downloads”フォルダに入ってしまいます. https://qiita.com/KWS_0901/items/33ae052e2e4694a6b4f1 ↓サイトの方法を試しましたが解決しませんでした. https://ja.stackoverflow.com/...
otori334's user avatar
0
1 回答
860 閲覧数

seleniumで要素を取得できない

http://www1.river.go.jp/cgi-bin/SrchSiteSui2.exe こちらのリンク先にある水系と観測項目をpythonのseleniumを使って自動入力したいです。 まずは一つずつ、水系から試そうと思い以下のコードを実行しました。 from selenium import webdriver from selenium.webdriver.support.ui ...
manatsu's user avatar
  • 177
0
2 回答
953 閲覧数

lambda上でheadlesschromeを使ってseleniumを動かそうとするとエラーになる

マルチポストです。 https://teratail.com/questions/375966 teratailでも回答を募りましたが、 解決に至らなそうなのでこちらでも投稿させていただきます。 lambda上でheadlesschromeを使ってseleniumで操作したいのですが、 上手くいきません。 環境構築はこちらを参考にしました。 バージョン等もこちらと同じです。 https://...
shazam's user avatar
  • 3
0
1 回答
272 閲覧数

seleniumを使ってTwitterのキーワードを複数検索したい

前提・実現したいこと python:seleniumを使って Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。 C列に都市2つ以上ある場合、Twitterで下記のように検索したいです。 Excel データ No 国 都市 1 アメリカ ロスアンゼルス、ニューヨーク、カリフォルニア 2 日本 東京、京都 3 オーストラリア シドニー 検索したい順番 ...
幸589's user avatar
  • 445
1
1 回答
3,800 閲覧数

seleniumを使ったweb操作で別タブに開いてしまったサイトのurlを取得したい

seleniumでWebを開いた後,ユーザが操作をすることで開いたページのurlを取得しようとしました. from selenium import webdriver import time browser = webdriver.Chrome('chromedriver.exe') browser.get('https://kakolog.jp/q/') while True: ...
user49026's user avatar
3
1 回答
264 閲覧数

pythonを使ってChrome上でHTMLファイルを開く

pythonを使って、Chrome上でHTMLファイルを表示しています。 HTMLファイルのパスに"#"があると、手動で開く時は問題がないのに、pythonからですと、 ファイルにアクセスできませんとChrome上で表示されてしまいます。 "#"をパスから取り除くと、pythonからちゃんと開けます。 pythonでは、ファイルパスに”#”...
DenDen's user avatar
  • 33
1
2 回答
4,870 閲覧数

エラー: stale element reference: element is not attached to the page document

以前は上手くテキストファイルにアウトプットされていたのですが、最近になってエラーが出ます。 エラー: stale element reference: element is not attached to the page document やりたい事は、テキストファイルのデータを一行ずつ読み込み、ループで処理、アウトプットファイルにGoogle検索結果を書き出すという事です。 ...
kimi Tanaka's user avatar
0
0 回答
1,647 閲覧数

pythonでのseleniumを用いたwebプロキシの設定について

pythonのseleniumをchromeで動かしてユーザー名とパスワードの設定のあるwebプロキシに自動的に接続できるようにしたいのですが、思うようにすすみません。 ubuntu20.04の実機を使ってcronで定期的にwebプロキシに接続をしてサイト情報を引っ張ってきたいのですが、headlessモードになると拡張機能を使うことが出来ずに失敗になってしまいます。 ...
志村ゆかり's user avatar
3
0 回答
719 閲覧数

同じ名前のclassがついているボタンから1つのボタンをクリックさせたい

やりたいこと pythonとseleniumを使用して、毎日入力している勤怠の登録を自動化したいと考えています。 何をどうしたいか 現在苦戦しているところが、日付の分出てきているボタンをクリックすることです。 ボタンの箇所のhtmlは、実際のソースとは違いますが、以下のような形で日付分出てきています。 <table> <tbody> //1~5日のもの ...
pythonNewbieMan's user avatar
0
0 回答
318 閲覧数

ChromeでHTMLファイルをPDF保存時のページサイズ指定が動作しない

Chrome上でHTMLファイルを開いて、PDFに保存するというのをやりたくて、 下記コードを書きましたが、コード中のappState内の"pageSize"をA3、A5、レターサイズと どんなに値を変えて指定しても、出力されたPDFファイルのページサイズがA4となってしまいます。 appState内の他のプロパティ"isLandscapeEnabled"や&...
DenDen's user avatar
  • 33
3
0 回答
354 閲覧数

Selenium で Chrome をモバイルモードで開くと位置情報を変更できません

SeleniumでChromeをモバイルモードで開いて位置情報を変更したいのですが、 MobileEmulation設定をするとGeoLocation設定が無視されてしまいます。 MobileEmulationなしだと位置情報の変更はできているので、 モバイルエミュレータを有効にすると位置情報の設定はできないということでしょうか? options=options.add_argment("...
Ichi's user avatar
  • 31
0
1 回答
324 閲覧数

ExcelからTwitter(selenium)で特定の条件がある場合、繰り返し処理を行う方法について

前提・実現したいこと python:seleniumを使って Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。 B列に同じ国が2つ以上ある場合、Twitterで下記のように検索したいです。 Excel データ 1 アメリカ カリフォルニア 1 アメリカ フロリダ 2 フランス パリ 3 日本  東京 検索したい順番 アメリカ "...
幸589's user avatar
  • 445
1
2 回答
3,258 閲覧数

selenium でのループ処理中にエラー発生時も終了しないようにしたい

seleniumを使用してスクレイピングをしようと考えています。 xpathの一部を変数にしてループさせてテキストを表示しようと考えています。 わからないこと ループで回して取得しようとするのですが、取得する値の数がその時々で変わるので 何回ループを回せばよいのかわかりません。 ですので、該当するxpathが存在しなかった場合、ループを終わりにしたいのですが、うまくいかずエラーが起きてしまいます。 ...
zumo1224's user avatar
  • 123
1
0 回答
971 閲覧数

seleniumでのxpathのループ

seleniumを使用してスクレイピングをしたいと考えています。 下記のコードを実行するとxpathの部分のテキストが表示されます。 elem_username = browser.find_elements_by_xpath('//*[@id="__next"]/div/div[4]/div/ul/div[1]/a/div/div[2]/div/ul[1]/li') ...
zumo1224's user avatar
  • 123
1
0 回答
293 閲覧数

seleniumでスクレイピングをする際、xpathのループの仕方がわかりません。

実行環境 windows10 python3 jupyterlab 前提・実現したいこと ツイキャスのランキングから配信者の名前とtwitterのリンクをseleniumを使用し スクレイピングしたいと考えています。 xpathの一部を変えてループをしようとした段階でエラーが起きてしまいました。 実際のコード from time import sleep from selenium import ...
zumo1224's user avatar
  • 123
0
1 回答
1,804 閲覧数

"NameError: name 'url' is not defined" の解決方法を教えてください

Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、 "【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。 エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。 ご教授お願いします。 エラーメッセージ: ...
Genki2018's user avatar
0
2 回答
3,334 閲覧数

Seleniumで取得保存したファイル名の特定

Ubuntu+Python+SeleniumでChromeを自動化し、Saveボタンをクリックしてファイルをローカルに保存するところまで出来ましたが、このファイル名が手動で制御出来ず、取得元のサイトが検索ワードに基づいて付けた適当な名前になります。 この、たった今保存されたファイルのファイル名をPythonで取得する場合、どの方法が賢いでしょうか。 ディレクトリを検索し、...
Chihiro  Fukazawa's user avatar
0
1 回答
1,126 閲覧数

Seleniumの要素を特定しているnameの取得方法が分からない?

こちらのQiita記事を参考にSeleniumの勉強をしています。 Ubuntu、Python3、Chromeを使っています。 以下のサンプルコードについて質門です。 import time from selenium import webdriver driver = webdriver.Chrome() driver.get('https://www.google.com/') time....
Chihiro  Fukazawa's user avatar
0
1 回答
298 閲覧数

for文でのappendについて

python・プログラミング初めて3日ほどのド初心者です。 今回、Python・SeleniumでのWebスクレイピングに挑戦しております。 質問に際して、至らない点ございましたら、申し訳ございません。 実現したいこと next_page_url_all → 「次のページ」をクリックした際に表示されるをURLを事前に取得しています。(リスト) ...
user avatar
0
1 回答
293 閲覧数

Rubyでseleniumを使ってremoteで接続する際にNet::ReadTimeoutになる

現在、DockerCompose上のRubyでseleniumを使って、別サーバにchromeを使いたいのですがうまく動作しません。 以下に各種コードとエラー内容を書かせていただきます。 DockerCompose.yml version: "3" services: rails: build: context: . dockerfile:...
user3387068's user avatar
0
1 回答
568 閲覧数

スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される

Seleniumのスクレイピングについてご質問させていただきます。 現在、↓のページのスクレイピングスクリプトを書いています。 https://www.gakujo.ne.jp/2022/company/baseinfo/22242/ 環境 MacBook Pro Google Chrome Jupyter Notebook Selenium 症状 見出しの一部(『プロフィール』)...
maronie_papa's user avatar