[selenium] タグが付いた質問
80
質問
0
票
1回答
35 件の閲覧数
FirefoxをPythonのSeleniumで起動する時、proxyのusernameとpasswordを入力する方法
FirefoxをPythonのSeleniumで起動する際、下の画像の様にproxyのusernameとpasswordの入力を要求されますが、
こちらをpythonのscriptから入力する方法を教えていただけないでしょうか。
私の実行環境
Ubuntu 18.04.3 LTS
Python 3.9.1
selenium 3.141.0 py39h07f9747_1002 conda-...
1
票
1回答
209 件の閲覧数
チェックボックスをJavascriptでチェックできてもinput type=“checkbox” の後にcheckedが付かない
Python、seleniumで社内サイトをスクレイピングしているのですが、チェックボックスにチェックをいれてから、押すボタン【確定ボタン】があります。
そこで、seleniumでそのサイトまでアクセスしたのち、下記のスクリプトでチェックボックスにチェックを入れようと考えました。
script = 'document.querySelector("チェックボックスのCSSセレクタ&...
0
票
1回答
533 件の閲覧数
Google Chromeの自動更新を停止したい
環境
macOS high sierra
Google Chrome 86.0.4240.80 (Official Build) (x86_64)
理由
seleniumを使用しており、バージョンが変更されるたびにwebdriverをインストールするのが大変なので、chromeの自動更新を停止したいです。
試した事
下記のサイトを参考に defaults write com.google....
0
票
1回答
64 件の閲覧数
send_keys elementNotInteractableException エラー
Pythonのseleniumについての質問です。
社内web なので、ウェブサイトを記載する事ができないことをご了承ください。
Webサイトのイメージは、こんな感じです。
Google Chromeで特定のサイトに移動し、driver.find_element_by_xpath("//*[@id='aaa']/div[4]/div[3]/div/div[1]/div[2]")...
0
票
0回答
63 件の閲覧数
seleniumで普段使用するchromeを自動操縦した後に全てのサービスに再ログインを求められる。
環境
mac os highsierra
Python3.8
selenium
chrome ver.85
問題
1:困っている
seleniumで普段使用するchromeのユーザプロファイルを指定して自動操縦した後にchromeを閉じて、起動して手動に切り替えると今までログインしていたサービス(twitter, spotify, スタックオーバフロー等...)...
0
票
1回答
387 件の閲覧数
selenium の find_element_by_xpath でエラーが出力される
商品をカートに入れるプログラムを書いているのですが、上手く動作しません。
ユーザのプロファイルを指定してseleniumを実行したくて追加しました。
# options.add_argument('--user-data-dir=user')
# options.add_argument('--profile-directory=profile')
# options.add_argument('-...
0
票
1回答
86 件の閲覧数
Seleniumを使ったスクレイピングで、最後のページが終了したらbreakさせたい。
目的
↓のURLに表示される全ての一覧ページの求人詳細URLを取得したい。
(ただし、求人の数は変動する。今回は291件)
https://next.rikunabi.com/eigyo/lst_jb0101020000/
期待する結果
[https://next.rikunabi.com/company/cmi2566412298/nx1_rq0016317040/?fr=cp_s00700&...
-1
票
1回答
331 件の閲覧数
c#でseleniumを利用すると利用メモリがどんどん増えていく
c#でseleniumを利用しているのですが、下記コードのvar html = driver.PageSource;を実行するたびに使用メモリが増えていき、すぐにメモリがいっぱいになってしまいます。
1時間もすると、利用メモリが4GBに到達し、OutOfMemoryExceptionを発生してしまいます。
driver.Quit();の前にdriver.Close()を入れてみたり、...
0
票
1回答
197 件の閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
0回答
201 件の閲覧数
seleniumをブラウザ上で実行できない
環境
Conoha VPS
CentOS Apache2.0
Python 3.75
Google Chrome 83.0.4103.116
ChromeDriver 83.0.4103.39
selenium Version: 3.141.0
ディレクトリ
/var/www/cgi-bin/test.py 755
#!/usr/bin/env python
# -*- coding:...
0
票
0回答
70 件の閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
0回答
145 件の閲覧数
Python Selenium で可変的なonClickを実行する方法
ボタンをクリックすると添付ファイルをダウンロードするHPがありますが、
添付ファイルの個数と拡張子やファイル名が可変的になっており、
onClickで読み込まれるスクリプトに可変的な引数を与えないといけません。
この為、単純なdriver.execute_script("VBAscript")ではonClickが実行できず、
なにか別の方法はありますでしょうか。
<A HREF="...
0
票
1回答
1,885 件の閲覧数
seleniumで要素取得したいが,2つ同名のものがあるため,後者を選択できない
<a href="URL" target="_blank" class="button button-color-2">新規会員登録</a>
<a class="button">ログイン</a>
ここで,
driver.find_element_by_css_selector('.button').click()
0
票
0回答
124 件の閲覧数
python selenium で、chromeのスクロール幅を調整したい
python selenium で chromeのスクレイピングをしています
以下のコードで、サイト内のペインを取得し、一番下までスクロールできたのですが
欲しい情報がサイトの真ん中あたりにあるので
scrollHeight のところを、scrollHeitの1/2,または高さで指定したいです
eula = driver.find_element_by_xpath('//*[@id="aaa"]...
1
票
1回答
130 件の閲覧数
Ubuntu19.10のChromiumのログの場所がわからない
Ubuntu19.10を使っているのですが、Chromiumのログの場所がわかりません。どこにあるのでしょうか?
seleniumからChromiumを操作していて、なにかしらのエラーが起こるのでその時のChromiumのログを見たいです。
どうも起動時のオプションに--enable-loggingと --log-level=0を設定すると~/.config/chromiumに
...
0
票
1回答
140 件の閲覧数
CSVに書いたURLのスクショをSeleniumで撮影する方法
下記のページを参考に試してみたのですがうまくいきませんでした。
CSVに書いたURLを順番に開いて全画面スクリーンショットを取るスクリプト - Qiita
urls.csv内のURL情報を read_csv.py で読み込むのは成功。
しかし、test_screenshot.py 内の ChromeDriverManager というモジュールが自分のPCに無いらしくスクショを撮影できません。
...
1
票
1回答
429 件の閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
0回答
105 件の閲覧数
Selenium + BeautifulSoup でのWebスクレイピングについて
現在スクレイピングでOKWAVEの質問をCSVに落とし込むコードを書いています。
全体像としては「検索語」を指定して出てきたページの質問1-10件目のページを開いてスクレイピング、すべてのページを閉じる、次のページで11-20件目の質問ページを開く、を10ページまで繰り返すというプログラムにしようかと思っています。
現在Seleniumでウェブを開き語句を検索、ページを出した所で1-...
0
票
0回答
155 件の閲覧数
VBA Selenium ChromeDriver Webメールに添付ファイルを付けたい
roundcube webmail で vba selenium chromedriver を使用してメール作成、送信を試みています。
タイトル、本文などは入れられたのですが、添付ファイルを設定する方法がどうしてもわかりません。ご存じの方、ご教授お願いします。
With CreateObject("Selenium.ChromeDriver")
.Start
.Get "...
0
票
0回答
89 件の閲覧数
Invalid argument supplied for foreach() というエラーについて
PHP、SeleniumWebdriverでスクレイピングをしています。以下のコードを実行した際、
Invalid argument supplied for foreach()というエラーが不定期で起こります。
findsElements()の利用として適切ではないコードの書き方なのでしょうか?
該当コード
if (count($driver->findElements(...
0
票
1回答
353 件の閲覧数
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
前提・実現したいこと
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
ネットで調べるとconfigparserとiniを使うとのことで試してみました。
config.iniファイルをデスクトップに置いて、それを読み込みにいくのだと思うのですが上手くいきません。
configparserとiniファイルを使う方法でなくてもいいのですが、...
0
票
0回答
1,018 件の閲覧数
python seleniumでjavascriptボタンを押す方法がわからない
前提・実現したいこと
python seleniumでjavascriptボタンを押す方法がわからないです。
直接ボタンを押すことで一端は解決したのですが、異なるPCで使うとクリックするボタン位置が変わるので直接要素を押せる様にしたいです。
#直接ボタン位置を指定してクリック
import pyautogui as pg
pg.click(x=350, y=530, button='left')...
0
票
1回答
117 件の閲覧数
デスクトップにあるcsvファイル名「fm_data20??_??_??」を検索してリネームさせたい
前提・実現したいこと
デスクトップにあるcsvファイル名「fm_data20??????」を検索して「アップロード.csv」に変更したいです。
「fm_data20??????」は日々変わるため、任意の一文字「?」を入れています。
import osとimport globをインポートするのだと思うのですが、
コードの書き方がイマイチよくわかりません。
よろしくお願いします。
...
0
票
1回答
3,579 件の閲覧数
seleniumでダウンロードしてきたファイルをデスクトップに保存したい
前提・実現したいこと
python selenium でダウンロードしてきたファイルをデスクトップに保存したいです。
やり方は↓サイトで載っている通りにしたのですが、デフォルトダウンロードの「Downloads」フォルダに落ちてきてしまいます。
https://qiita.com/py_maro/items/6e79e4049677cf43c398
↑のサイトに書いてあることをそのまましています。...
0
票
1回答
2,445 件の閲覧数
python selenium をグーグルクロームで使いダウンロードしたファイルのファイル名を付ける方法が分かりません。
python selenium を使いグーグルクロームを自動操作して、CSVダウンロードボタンの要素をクリックしてダウンロードさせることまでできました。
ダウンロードしたときに、「名前を付けて保存」のダイヤルログがでてくるのですが、「保存する場所」「ファイル名」を指定する方法を教えてください。
↓のサイトを参考に試してみましたがエラーになりました。
SeleniumのChrome ...
0
票
0回答
562 件の閲覧数
seleniumで「ファイルを選択」ボタンでローカルからファイルを読み込みたいのですができません。
こんにちは。
python seleniumで「ファイルを選択」ボタンでローカルからファイルを読み込みたいのですができません。
input type="file" id="fl" name="fl"が「ファイルを選択」のHTMLです。
わかる方教えて下さい。
よろしくお願いします。
取得したいHTML
<strong>注意事項</strong>
<ul>
&...
1
票
1回答
269 件の閲覧数
SeleniumでWebページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
Seleniumを使い、ページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。
driver.get("https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%...
0
票
1回答
258 件の閲覧数
docker環境におけるseleniumを使ったスクレイピングについて
現在、docker環境でrailsを使って勉強中です。
seleniumでスクレイピングをして遊んでいます。
ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。
やりたいこと
ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。
理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
0
票
1回答
187 件の閲覧数
Webdriverでの「Timed out waiting for driver server to start」
すみません。PHP、slenium、chromedriverを使いスクレイピングをしています。不規則かつ頻繁に「Timed out waiting for driver server to start」のエラーが出るのですが、原因が全くわかりません。どなたか解決策をご存知でしたらお教えください。
また、現時点で関係性は不明ですが、わかっていることとして、スクレイピング中に例外を投げた際、quit(...
1
票
1回答
542 件の閲覧数
requestsとseleniumで取得できるcookieの種類
requestsのs.cookies.get_dict()とseleniumのdriver.get_cookies()で取得できるcookieの構造が違うのですが、なぜですか?
このrequestsで取得したセッションキーをseleniumの方に渡したいのですが、どこの値に入れれば良いかわかりません。詳しい方教えて頂けないでしょうか?...
0
票
0回答
890 件の閲覧数
requestsで保持したセッションをseleniumに渡してログイン状態を保持したい。
pinterestというサイトにrequestsでpostログインし、その後ログインセッションseleniumに渡し操作したいのですが上手く行きません。
以下のコードを実行して見るのですが、エラーが出ず固まって動かなくなってしまいます。
詳しい方見て頂けないでしょうか?よろしくお願いします。
import requests
from selenium import webdriver
from ...
0
票
1回答
1,137 件の閲覧数
python selenium テーブル内のタグが子要素として並んでいる場合の値取得
皆様
お世話になります。
Python+seleniumでクローラーを回しております。
WEBで検索結果のテーブルからデータを抽出しようとしているのですが、取りたい要素にidやclassが割り振られておらず、同じタグが子要素として並んでいるためデータ取得ができません。ご指導をお願いできますでしょうか。
from selenium import webdriver
url = "https://...
0
票
1回答
175 件の閲覧数
Selenium IDE v.3.x と Selenium の連携は可能でしょうか?
UIテストを作成したく、方法を検討しています。
対象URIが大量にあるので、まず Selenium IDE で大枠を作成して、作成したテストをExportしてSeleniumで扱うと良いかと考えました。
Firefox : 68.0.1
Selenium IDE : Version 3.12.0
次のようなポストなど参考にしたのですが、上記環境では、...
1
票
0回答
536 件の閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
1回答
866 件の閲覧数
HTMLのボタンからPythonスクリプトを用いてSeleniumを実行する方法について
Python+Seleniumで特定のサイトにログインするスクリプトを作成しました。
Brythonを使ってHTMLで作成したページからボタンを押してこのPythonを実行したいのですがうまくいきません。Seleniumを使わずに、HTML+Brython+Pythonでブラウザからボタンを押すとHelloと表示されるものまで作成できましたが、
from selenium import ...
0
票
1回答
4,911 件の閲覧数
selenium+pythonでファイルをアップロードするダイアログ操作
皆様、お世話になります。
Seleniumのpythonを用いて、wordpressのメディアでファイルをアップロードしようと思っております。
1.ファイル選択ボタンを押す
2.ファイル選択ダイアログボタンが開く
3.ファイル名をダイアログ上でファイル名を入力
4.ダイアログのファイルを「開く」を押す
上記1~2まではできるのですが、3と4ができません。
つまり、ダイアログを開いた後、...
0
票
0回答
537 件の閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
0
票
1回答
353 件の閲覧数
GoogleFormのプルダウンをseleniumで選択することができません
複数プルダウンが存在するGoogle Formの入力をselenium(Pythonを使用)で自動入力を行おうとしたところ、
こちらの方法を使って
https://stackoverflow.com/questions/49854786/handling-drop-down-for-google-form-using-selenium
...
0
票
1回答
134 件の閲覧数
条件分岐が多くなりすぎてネストが深くなってしまったコードをスッキリさせたい
Seleniumの勉強のためRubyでinstagramのWeb自動ツールの開発をしています。
この中で、投稿にコメントを書き込むスクリプトの中で
コメント入力欄
「投稿する」ボタン
の2つを取得するコードを書いています…が、なかなかきれいにまとまらなくて困っています。
コメント欄・投稿するボタンのHTMLコード
...
0
票
1回答
687 件の閲覧数
PythonのSeleniumで表示されているのにnot visibleな要素がクリックできない
このページの勤務地ボタンを押すとモーダルが表示されます。
モーダルの左メニューの地方をクリックするところまでは行けるのですが、例えば関西をクリック→大阪をクリックとしたい場合、大阪のチェックボックス(input要素)がnot visibleのためクリックできません。
当初はXpathでinput要素を取得していましたが、コードの方針を少し変えて、すべてのインプット要素をまず取得し、...
0
票
1回答
283 件の閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
0回答
432 件の閲覧数
Python Seleniumを起動した後にgoogle chromeログインをしようとすると強制終了する問題
表題の件、解決策が分からず難航しています。
お知恵を貸していただける方、よろしくお願い致します。
環境
Mac OS 10.14
Python 3.7.2
Selenium 最新(バージョンの調べ方がわかりませんでしたがpip3 install selenium -U実行済み)
ChromeDriver 73.0.3683.68
現状
下記コードを実行後、...
1
票
2回答
369 件の閲覧数
Selenium ChromeDriver でタップ(タッチ)イベントを発生させるには
ChromeDriver で特定要素のタップイベント
touchstart
touchend
をトリガーするにはどのようにコーディングすればよいでしょうか。
0
票
0回答
725 件の閲覧数
python seleniumを使っていると処理が止まる?
初めまして.
pythonでスクレイピングをしています.
しかし,大量に(数十~数百件)下記のようなプログラムでhtmlを得ていると,
browser.page_sourceで処理が止まってしまいます.
エラーが出るわけでもなく,数十分しても動き出しません.
同じような状況の方はいらっしゃいますでしょうか.
また,解決した方がいらっしゃいましたら,その方法を教えてください.
...
0
票
1回答
1,214 件の閲覧数
chromedriver で headless と user-data-dir のオプションを同時に指定するとエラーが発生する
var driverDirectory = Path.GetDirectoryName(AppDomain.CurrentDomain.BaseDirectory);
var options = new ChromeOptions();
options.AddArgument("--headless");
options.AddArguments("user-data-dir=userdata");...
0
票
2回答
935 件の閲覧数
Selenium, Python3, コンボボックスの現在の値の取得方法
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select, WebDriverWait
from selenium.webdriver.support ...
2
票
1回答
2,745 件の閲覧数
Pythonでbrowser=webdriver.Firefox() を実行するとエラー
Mac Python3.6 を使用しているものです。
seleniumをimportして、
browser=webdriver.Firefox()
を実行してみたのですが、
うまくいかず困っています。(エラー文は下記)
geckodriverのPATHについては問題ないと思うのですが。
初心者なのでわかりやすく教えて頂けるとありがたいです。
>>> from ...
0
票
0回答
830 件の閲覧数
PythonのSeleniumでProxyを使ったらERR_NO_SUPPORTED_PROXIES
PythonのSeleniumでChromeにプロキシオプションを付けて起動したのはいいのですが、getメソッドで何かしらのサイトにアクセスするとChromeにERR_NO_SUPPORTED_PROXIESとでてしまいアクセスできません。
ヘッドレスモードでも通常起動でも、シークレットモードの有無も試しましたがだめでした。
プロキシはhttp://buyproxies.org/...
0
票
1回答
561 件の閲覧数
同じurlで異なる内容のページのhtml要素の取得方法がわかりません。
PMDAのサイト では 検索フォーム と検索確認のURLが同じなのですが検索確認のhtmlを解析したいです。
下記のコードでは検索確認のhtmlの解析ができず、検索フォームのhtmlを検出してしまうため、
elem_serch_btn1のクリックに失敗します。
検索確認のhtmlを解析するにはどうしたらようでしょうか・・?
お教示お願いいたします。
from selenium import ...
1
票
0回答
378 件の閲覧数
Selenium×Node.jsでテスト実行すると「NoSuchSessionError: no such session」となりうまくいかない
前提・実現したいこと
自社プロダクトで人力で行っているシナリオテストの工数・負荷を削減したく
Selenium×Node.jsでテスト自動化を行おうとしていますが、調査の段階で詰まってしまっています。。。
環境
Mac OS10.12.6
Node 8.11.1
Selenium Server 3.12.0
Selenium WebDriver 4.0.0
ChromeDriver 2....