[selenium] タグが付いた質問
133
件の質問
0
票
1
回答
310
閲覧数
for文でのappendについて
python・プログラミング初めて3日ほどのド初心者です。
今回、Python・SeleniumでのWebスクレイピングに挑戦しております。
質問に際して、至らない点ございましたら、申し訳ございません。
実現したいこと
next_page_url_all → 「次のページ」をクリックした際に表示されるをURLを事前に取得しています。(リスト)
...
0
票
1
回答
317
閲覧数
Rubyでseleniumを使ってremoteで接続する際にNet::ReadTimeoutになる
現在、DockerCompose上のRubyでseleniumを使って、別サーバにchromeを使いたいのですがうまく動作しません。
以下に各種コードとエラー内容を書かせていただきます。
DockerCompose.yml
version: "3"
services:
rails:
build:
context: .
dockerfile:...
0
票
1
回答
632
閲覧数
スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される
Seleniumのスクレイピングについてご質問させていただきます。
現在、↓のページのスクレイピングスクリプトを書いています。
https://www.gakujo.ne.jp/2022/company/baseinfo/22242/
環境
MacBook Pro
Google Chrome
Jupyter Notebook
Selenium
症状
見出しの一部(『プロフィール』)...
0
票
1
回答
1,916
閲覧数
Edgeブラウザでseleniumを使用できない
Edgeブラウザでseleniumを使用しようとする際に
以下のようなエラーがありました。
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: No matching capabilities found
...
0
票
1
回答
760
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
1
回答
396
閲覧数
Excel to Selenium プルダウンリスト
やりたいこと
Excelからデータを読み込みプルダウンリストからデータを選択したいです。
下記のコードのように試してみましたが、エラーのようにエレメントが見つかりません。
なお、45行目で以下のようにテキストを指定すると成功します。
select.select_by_visible_text("10時台")
...
0
票
1
回答
1,230
閲覧数
「指定したurlへ遷移する」のサンプルコードが実行できません
Python初心者です。
インターネットで調べました「指定したurlへ遷移する」のサンプルコード
from selenium import webdriver
driver = webdriver.Chrome("C:/Desktop/chromedriver.exe")
driver.get("https://www.yahoo.co.jp/")
...
0
票
1
回答
1,268
閲覧数
FirefoxをPythonのSeleniumで起動する時、proxyのusernameとpasswordを入力する方法
FirefoxをPythonのSeleniumで起動する際、下の画像の様にproxyのusernameとpasswordの入力を要求されますが、
こちらをpythonのscriptから入力する方法を教えていただけないでしょうか。
私の実行環境
Ubuntu 18.04.3 LTS
Python 3.9.1
selenium 3.141.0 py39h07f9747_1002 conda-...
0
票
1
回答
992
閲覧数
チェックボックスをJavascriptでチェックできてもinput type="checkbox" の後にcheckedが付かない
Python、seleniumで社内サイトをスクレイピングしているのですが、チェックボックスにチェックをいれてから、押すボタン【確定ボタン】があります。
そこで、seleniumでそのサイトまでアクセスしたのち、下記のスクリプトでチェックボックスにチェックを入れようと考えました。
script = 'document.querySelector("チェックボックスのCSSセレクタ&...
0
票
1
回答
2,239
閲覧数
Google Chromeの自動更新を停止したい
環境
macOS high sierra
Google Chrome 86.0.4240.80 (Official Build) (x86_64)
理由
seleniumを使用しており、バージョンが変更されるたびにwebdriverをインストールするのが大変なので、chromeの自動更新を停止したいです。
試した事
下記のサイトを参考に defaults write com.google....
0
票
1
回答
1,235
閲覧数
send_keys elementNotInteractableException エラー
Pythonのseleniumについての質問です。
社内web なので、ウェブサイトを記載する事ができないことをご了承ください。
Webサイトのイメージは、こんな感じです。
Google Chromeで特定のサイトに移動し、driver.find_element_by_xpath("//*[@id='aaa']/div[4]/div[3]/div/div[1]/div[2]")...
0
票
0
回答
375
閲覧数
seleniumで普段使用するchromeを自動操縦した後に全てのサービスに再ログインを求められる。
環境
mac os highsierra
Python3.8
selenium
chrome ver.85
問題
1:困っている
seleniumで普段使用するchromeのユーザプロファイルを指定して自動操縦した後にchromeを閉じて、起動して手動に切り替えると今までログインしていたサービス(twitter, spotify, スタックオーバフロー等...)...
0
票
1
回答
2,620
閲覧数
selenium の find_element_by_xpath でエラーが出力される
商品をカートに入れるプログラムを書いているのですが、上手く動作しません。
ユーザのプロファイルを指定してseleniumを実行したくて追加しました。
# options.add_argument('--user-data-dir=user')
# options.add_argument('--profile-directory=profile')
# options.add_argument('-...
0
票
1
回答
1,029
閲覧数
Seleniumを使ったスクレイピングで、最後のページが終了したらbreakさせたい。
目的
↓のURLに表示される全ての一覧ページの求人詳細URLを取得したい。
(ただし、求人の数は変動する。今回は291件)
https://next.rikunabi.com/eigyo/lst_jb0101020000/
期待する結果
[https://next.rikunabi.com/company/cmi2566412298/nx1_rq0016317040/?fr=cp_s00700&...
-1
票
1
回答
2,087
閲覧数
c#でseleniumを利用すると利用メモリがどんどん増えていく
c#でseleniumを利用しているのですが、下記コードのvar html = driver.PageSource;を実行するたびに使用メモリが増えていき、すぐにメモリがいっぱいになってしまいます。
1時間もすると、利用メモリが4GBに到達し、OutOfMemoryExceptionを発生してしまいます。
driver.Quit();の前にdriver.Close()を入れてみたり、...
0
票
1
回答
1,968
閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
0
回答
1,452
閲覧数
seleniumをブラウザ上で実行できない
環境
Conoha VPS
CentOS Apache2.0
Python 3.75
Google Chrome 83.0.4103.116
ChromeDriver 83.0.4103.39
selenium Version: 3.141.0
ディレクトリ
/var/www/cgi-bin/test.py 755
#!/usr/bin/env python
# -*- coding:...
0
票
0
回答
118
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
1
回答
3万
閲覧数
seleniumで要素取得したいが,2つ同名のものがあるため,後者を選択できない
<a href="URL" target="_blank" class="button button-color-2">新規会員登録</a>
<a class="button">ログイン</a>
ここで,
driver.find_element_by_css_selector('.button').click()
0
票
1
回答
612
閲覧数
Ubuntu19.10のChromiumのログの場所がわからない
Ubuntu19.10を使っているのですが、Chromiumのログの場所がわかりません。どこにあるのでしょうか?
seleniumからChromiumを操作していて、なにかしらのエラーが起こるのでその時のChromiumのログを見たいです。
どうも起動時のオプションに--enable-loggingと --log-level=0を設定すると~/.config/chromiumに
...
0
票
1
回答
260
閲覧数
CSVに書いたURLのスクショをSeleniumで撮影する方法
下記のページを参考に試してみたのですがうまくいきませんでした。
CSVに書いたURLを順番に開いて全画面スクリーンショットを取るスクリプト - Qiita
urls.csv内のURL情報を read_csv.py で読み込むのは成功。
しかし、test_screenshot.py 内の ChromeDriverManager というモジュールが自分のPCに無いらしくスクショを撮影できません。
...
1
票
1
回答
1,114
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
0
回答
526
閲覧数
VBA Selenium ChromeDriver Webメールに添付ファイルを付けたい
roundcube webmail で vba selenium chromedriver を使用してメール作成、送信を試みています。
タイトル、本文などは入れられたのですが、添付ファイルを設定する方法がどうしてもわかりません。ご存じの方、ご教授お願いします。
With CreateObject("Selenium.ChromeDriver")
.Start
.Get "...
0
票
0
回答
186
閲覧数
Invalid argument supplied for foreach() というエラーについて
PHP、SeleniumWebdriverでスクレイピングをしています。以下のコードを実行した際、
Invalid argument supplied for foreach()というエラーが不定期で起こります。
findsElements()の利用として適切ではないコードの書き方なのでしょうか?
該当コード
if (count($driver->findElements(...
0
票
1
回答
1,448
閲覧数
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
前提・実現したいこと
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
ネットで調べるとconfigparserとiniを使うとのことで試してみました。
config.iniファイルをデスクトップに置いて、それを読み込みにいくのだと思うのですが上手くいきません。
configparserとiniファイルを使う方法でなくてもいいのですが、...
0
票
0
回答
2,964
閲覧数
python seleniumでjavascriptボタンを押す方法がわからない
前提・実現したいこと
python seleniumでjavascriptボタンを押す方法がわからないです。
直接ボタンを押すことで一端は解決したのですが、異なるPCで使うとクリックするボタン位置が変わるので直接要素を押せる様にしたいです。
#直接ボタン位置を指定してクリック
import pyautogui as pg
pg.click(x=350, y=530, button='left')...
0
票
1
回答
246
閲覧数
デスクトップにあるcsvファイル名「fm_data20??_??_??」を検索してリネームさせたい
前提・実現したいこと
デスクトップにあるcsvファイル名「fm_data20??????」を検索して「アップロード.csv」に変更したいです。
「fm_data20??????」は日々変わるため、任意の一文字「?」を入れています。
import osとimport globをインポートするのだと思うのですが、
コードの書き方がイマイチよくわかりません。
よろしくお願いします。
...
0
票
1
回答
8,902
閲覧数
seleniumでダウンロードしてきたファイルをデスクトップに保存したい
前提・実現したいこと
python selenium でダウンロードしてきたファイルをデスクトップに保存したいです。
やり方は↓サイトで載っている通りにしたのですが、デフォルトダウンロードの「Downloads」フォルダに落ちてきてしまいます。
https://qiita.com/py_maro/items/6e79e4049677cf43c398
↑のサイトに書いてあることをそのまましています。...
0
票
1
回答
8,918
閲覧数
Selenium から Chrome を使ってファイルをダウンロードする際、ファイル名を指定する方法が分からない
Selenium から Google Chrome を自動操作し、CSVダウンロードボタンの要素をクリックしてダウンロードさせることまでできました。
ダウンロードする時に「名前を付けて保存」のダイアログが出てくるのですが、「保存する場所」「ファイル名」を指定する方法を教えてください。
以下のサイトを参考に試してみましたがエラーになりました。
SeleniumのChrome ...
0
票
0
回答
2,755
閲覧数
seleniumで「ファイルを選択」ボタンでローカルからファイルを読み込みたいのですができません。
こんにちは。
python seleniumで「ファイルを選択」ボタンでローカルからファイルを読み込みたいのですができません。
input type="file" id="fl" name="fl"が「ファイルを選択」のHTMLです。
わかる方教えて下さい。
よろしくお願いします。
取得したいHTML
<strong>注意事項</strong>
<ul>
&...
0
票
1
回答
838
閲覧数
SeleniumでWebページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
Seleniumを使い、ページのテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」以前の情報しか取得されず困っています。
driver.get("https://r.nikkei.com/search?keyword=%E3%82%A4%E3%83%B3%E3%83%95%E3%83%AB%E3%...
0
票
1
回答
525
閲覧数
docker環境におけるseleniumを使ったスクレイピングについて
現在、docker環境でrailsを使って勉強中です。
seleniumでスクレイピングをして遊んでいます。
ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。
やりたいこと
ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。
理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
0
票
1
回答
732
閲覧数
Webdriverでの「Timed out waiting for driver server to start」
すみません。PHP、slenium、chromedriverを使いスクレイピングをしています。不規則かつ頻繁に「Timed out waiting for driver server to start」のエラーが出るのですが、原因が全くわかりません。どなたか解決策をご存知でしたらお教えください。
また、現時点で関係性は不明ですが、わかっていることとして、スクレイピング中に例外を投げた際、quit(...
1
票
1
回答
1,428
閲覧数
requestsとseleniumで取得できるcookieの種類
requestsのs.cookies.get_dict()とseleniumのdriver.get_cookies()で取得できるcookieの構造が違うのですが、なぜですか?
このrequestsで取得したセッションキーをseleniumの方に渡したいのですが、どこの値に入れれば良いかわかりません。詳しい方教えて頂けないでしょうか?...
0
票
0
回答
1,851
閲覧数
requestsで保持したセッションをseleniumに渡してログイン状態を保持したい。
pinterestというサイトにrequestsでpostログインし、その後ログインセッションseleniumに渡し操作したいのですが上手く行きません。
以下のコードを実行して見るのですが、エラーが出ず固まって動かなくなってしまいます。
詳しい方見て頂けないでしょうか?よろしくお願いします。
import requests
from selenium import webdriver
from ...
0
票
1
回答
2,100
閲覧数
python selenium テーブル内のタグが子要素として並んでいる場合の値取得
皆様
お世話になります。
Python+seleniumでクローラーを回しております。
WEBで検索結果のテーブルからデータを抽出しようとしているのですが、取りたい要素にidやclassが割り振られておらず、同じタグが子要素として並んでいるためデータ取得ができません。ご指導をお願いできますでしょうか。
from selenium import webdriver
url = "https://...
0
票
1
回答
268
閲覧数
Selenium IDE v.3.x と Selenium の連携は可能でしょうか?
UIテストを作成したく、方法を検討しています。
対象URIが大量にあるので、まず Selenium IDE で大枠を作成して、作成したテストをExportしてSeleniumで扱うと良いかと考えました。
Firefox : 68.0.1
Selenium IDE : Version 3.12.0
次のようなポストなど参考にしたのですが、上記環境では、...
1
票
0
回答
993
閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
1
回答
1,214
閲覧数
HTMLのボタンからPythonスクリプトを用いてSeleniumを実行する方法について
Python+Seleniumで特定のサイトにログインするスクリプトを作成しました。
Brythonを使ってHTMLで作成したページからボタンを押してこのPythonを実行したいのですがうまくいきません。Seleniumを使わずに、HTML+Brython+Pythonでブラウザからボタンを押すとHelloと表示されるものまで作成できましたが、
from selenium import ...
0
票
1
回答
2万
閲覧数
selenium+pythonでファイルをアップロードするダイアログ操作
皆様、お世話になります。
Seleniumのpythonを用いて、wordpressのメディアでファイルをアップロードしようと思っております。
1.ファイル選択ボタンを押す
2.ファイル選択ダイアログボタンが開く
3.ファイル名をダイアログ上でファイル名を入力
4.ダイアログのファイルを「開く」を押す
上記1~2まではできるのですが、3と4ができません。
つまり、ダイアログを開いた後、...
0
票
1
回答
2,496
閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
0
票
1
回答
836
閲覧数
GoogleFormのプルダウンをseleniumで選択することができません
複数プルダウンが存在するGoogle Formの入力をselenium(Pythonを使用)で自動入力を行おうとしたところ、
こちらの方法を使って
https://stackoverflow.com/questions/49854786/handling-drop-down-for-google-form-using-selenium
...
0
票
1
回答
258
閲覧数
条件分岐が多くなりすぎてネストが深くなってしまったコードをスッキリさせたい
Seleniumの勉強のためRubyでinstagramのWeb自動ツールの開発をしています。
この中で、投稿にコメントを書き込むスクリプトの中で
コメント入力欄
「投稿する」ボタン
の2つを取得するコードを書いています…が、なかなかきれいにまとまらなくて困っています。
コメント欄・投稿するボタンのHTMLコード
...
0
票
1
回答
1,623
閲覧数
PythonのSeleniumで表示されているのにnot visibleな要素がクリックできない
このページの勤務地ボタンを押すとモーダルが表示されます。
モーダルの左メニューの地方をクリックするところまでは行けるのですが、例えば関西をクリック→大阪をクリックとしたい場合、大阪のチェックボックス(input要素)がnot visibleのためクリックできません。
当初はXpathでinput要素を取得していましたが、コードの方針を少し変えて、すべてのインプット要素をまず取得し、...
0
票
1
回答
449
閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
2
回答
850
閲覧数
Selenium ChromeDriver でタップ(タッチ)イベントを発生させるには
ChromeDriver で特定要素のタップイベント
touchstart
touchend
をトリガーするにはどのようにコーディングすればよいでしょうか。
0
票
0
回答
1,819
閲覧数
python seleniumを使っていると処理が止まる?
初めまして.
pythonでスクレイピングをしています.
しかし,大量に(数十~数百件)下記のようなプログラムでhtmlを得ていると,
browser.page_sourceで処理が止まってしまいます.
エラーが出るわけでもなく,数十分しても動き出しません.
同じような状況の方はいらっしゃいますでしょうか.
また,解決した方がいらっしゃいましたら,その方法を教えてください.
...
1
票
1
回答
2,311
閲覧数
chromedriver で headless と user-data-dir のオプションを同時に指定するとエラーが発生する
下記のコードを実行するとエラーが発生します。
それぞれのオプションを個別に指定するとエラーになりません。
headless と user-data-dir は同時に指定できないのでしょうか。
実行したコード:
var driverDirectory = Path.GetDirectoryName(AppDomain.CurrentDomain.BaseDirectory);
var options ...
0
票
2
回答
1,500
閲覧数
Selenium, Python3, コンボボックスの現在の値の取得方法
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select, WebDriverWait
from selenium.webdriver.support ...
4
票
1
回答
3,307
閲覧数
Pythonでbrowser=webdriver.Firefox() を実行するとエラー
Mac Python3.6 を使用しているものです。
seleniumをimportして、
browser=webdriver.Firefox()
を実行してみたのですが、
うまくいかず困っています。(エラー文は下記)
geckodriverのPATHについては問題ないと思うのですが。
初心者なのでわかりやすく教えて頂けるとありがたいです。
>>> from ...