[selenium] タグが付いた質問
111
質問
0
票
1
回答
731
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
0
回答
45
閲覧数
pythonでseleniumのwindow_handlesがフリーズする
下記のコードでdriver.window_handlesがフリーズします。
常にフリーズするのではなく、10回に1度程度の頻度で発生します。
エラーメッセージや例外の発生はありません。
やりたい事は、特定のタイトルを持つウィンドウに制御を切り替える
ことです。
データ依存があるのが分かっていて、このコードの前にボタンをクリックして
...
0
票
1
回答
671
閲覧数
FirefoxをPythonのSeleniumで起動する時、proxyのusernameとpasswordを入力する方法
FirefoxをPythonのSeleniumで起動する際、下の画像の様にproxyのusernameとpasswordの入力を要求されますが、
こちらをpythonのscriptから入力する方法を教えていただけないでしょうか。
私の実行環境
Ubuntu 18.04.3 LTS
Python 3.9.1
selenium 3.141.0 py39h07f9747_1002 conda-...
0
票
0
回答
53
閲覧数
スプレッドシート上にあるURLリストをスクレイピングした結果を隣のセルに反映させたい
スプレッドシートB列にURLの一覧があるのですが,find_element_by_link_textを使用しNoSuchElementExceptionが返ってきた場合にURLと同じ行のA列に何か文言を入れて反映させることは可能ですか?
import gspread
from google.oauth2.service_account import Credentials
from ...
0
票
1
回答
58
閲覧数
seleniumのStaleElementReferenceExceptiontエラーの対処方法ご教授ください
質問
下記コードを実行したときにStaleElementReferenceExceptionになります。
最初は出ていませんでしたがほぼ100%表示されるようになりました。
試した内容
sleepで待ち時間を設定 ダメでした
x_pathの要素を配列にいれてfor文に入れる ダメでした
for w in dd:
ddd.append(w)
初心者なのでやり方がおかしいかもしれません…
...
1
票
2
回答
2,189
閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
1
回答
995
閲覧数
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
前提・実現したいこと
python selenium ログインIDとパスワードをコードの外に別ファイルにして管理したいです。
ネットで調べるとconfigparserとiniを使うとのことで試してみました。
config.iniファイルをデスクトップに置いて、それを読み込みにいくのだと思うのですが上手くいきません。
configparserとiniファイルを使う方法でなくてもいいのですが、...
0
票
0
回答
72
閲覧数
xpathで取ったものをループで配列に入れるやり方がわからない
from selenium import webdriver
import sys
import time
from selenium.webdriver.common.by import By
#
total = 0
item_counter = 0
#
browser = webdriver.Chrome(executable_path="chromedriver.exe"...
0
票
0
回答
96
閲覧数
seleniumでGoogleを開こうとスクレイピングする際、WebdriveException:Message:chrome not reachableとでてしまい開けません
プログラムの勉強を始めたばかりで、YouTubeや本などの模写?みたいのをしています。
スクレイピングの動画で下記のプログラムをうったところ、
WebdriveExceptionと出てしまいgoogleを開けませんでした。
seleniumやbrewなどのインストールはすませてあります。
browser.get('http://www.google.com./')
1
票
1
回答
1,801
閲覧数
chromedriver で headless と user-data-dir のオプションを同時に指定するとエラーが発生する
下記のコードを実行するとエラーが発生します。
それぞれのオプションを個別に指定するとエラーになりません。
headless と user-data-dir は同時に指定できないのでしょうか。
実行したコード:
var driverDirectory = Path.GetDirectoryName(AppDomain.CurrentDomain.BaseDirectory);
var options ...
0
票
2
回答
292
閲覧数
lambda上でheadlesschromeを使ってseleniumを動かそうとするとエラーになる
マルチポストです。
https://teratail.com/questions/375966
teratailでも回答を募りましたが、
解決に至らなそうなのでこちらでも投稿させていただきます。
lambda上でheadlesschromeを使ってseleniumで操作したいのですが、
上手くいきません。
環境構築はこちらを参考にしました。
バージョン等もこちらと同じです。
https://...
0
票
1
回答
2万
閲覧数
seleniumで要素取得したいが,2つ同名のものがあるため,後者を選択できない
<a href="URL" target="_blank" class="button button-color-2">新規会員登録</a>
<a class="button">ログイン</a>
ここで,
driver.find_element_by_css_selector('.button').click()
0
票
1
回答
121
閲覧数
Selenium を使って Firefox を起動したい
現象
VSCodeで開いたJupyter Notebookで下記のPythonのコードを実行すると、エラーが表示されてFirefoxが起動できません。
from selenium import geckodriver
ImportError Traceback (most recent call last)
/tmp/...
0
票
2
回答
612
閲覧数
Selenium ChromeDriver でタップ(タッチ)イベントを発生させるには
ChromeDriver で特定要素のタップイベント
touchstart
touchend
をトリガーするにはどのようにコーディングすればよいでしょうか。
1
票
1
回答
368
閲覧数
Python seleniumでPDFを好きなディレクトリに保存したい
Python selenium でダウンロードしてきたファイルを指定したディレクトリに保存したいです.
↓サイトを参考にしましたが“Downloads”フォルダに入ってしまいます.
https://qiita.com/KWS_0901/items/33ae052e2e4694a6b4f1
↓サイトの方法を試しましたが解決しませんでした.
https://ja.stackoverflow.com/...
0
票
1
回答
6,044
閲覧数
Selenium から Chrome を使ってファイルをダウンロードする際、ファイル名を指定する方法が分からない
Selenium から Google Chrome を自動操作し、CSVダウンロードボタンの要素をクリックしてダウンロードさせることまでできました。
ダウンロードする時に「名前を付けて保存」のダイアログが出てくるのですが、「保存する場所」「ファイル名」を指定する方法を教えてください。
以下のサイトを参考に試してみましたがエラーになりました。
SeleniumのChrome ...
0
票
1
回答
156
閲覧数
seleniumで要素を取得できない
http://www1.river.go.jp/cgi-bin/SrchSiteSui2.exe
こちらのリンク先にある水系と観測項目をpythonのseleniumを使って自動入力したいです。
まずは一つずつ、水系から試そうと思い以下のコードを実行しました。
from selenium import webdriver
from selenium.webdriver.support.ui ...
1
票
1
回答
1,051
閲覧数
python seleniumでjavascriptを無効にする
以下のようにwebdriverでFirefox起動時にjavascriptが無効になるように設定しているのですが、設定が反映しません。
from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.set_preference("javascript.enabled", False)
browser = ...
0
票
1
回答
101
閲覧数
seleniumを使ってTwitterのキーワードを複数検索したい
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
C列に都市2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
No
国
都市
1
アメリカ
ロスアンゼルス、ニューヨーク、カリフォルニア
2
日本
東京、京都
3
オーストラリア
シドニー
検索したい順番
...
1
票
1
回答
681
閲覧数
seleniumを使ったweb操作で別タブに開いてしまったサイトのurlを取得したい
seleniumでWebを開いた後,ユーザが操作をすることで開いたページのurlを取得しようとしました.
from selenium import webdriver
import time
browser = webdriver.Chrome('chromedriver.exe')
browser.get('https://kakolog.jp/q/')
while True:
...
0
票
1
回答
627
閲覧数
チェックボックスをJavascriptでチェックできてもinput type="checkbox" の後にcheckedが付かない
Python、seleniumで社内サイトをスクレイピングしているのですが、チェックボックスにチェックをいれてから、押すボタン【確定ボタン】があります。
そこで、seleniumでそのサイトまでアクセスしたのち、下記のスクリプトでチェックボックスにチェックを入れようと考えました。
script = 'document.querySelector("チェックボックスのCSSセレクタ&...
2
票
1
回答
104
閲覧数
pythonを使ってChrome上でHTMLファイルを開く
pythonを使って、Chrome上でHTMLファイルを表示しています。
HTMLファイルのパスに"#"があると、手動で開く時は問題がないのに、pythonからですと、
ファイルにアクセスできませんとChrome上で表示されてしまいます。
"#"をパスから取り除くと、pythonからちゃんと開けます。
pythonでは、ファイルパスに”#”...
0
票
0
回答
88
閲覧数
SeleniumをJavaScript(Node.js)で制御してGoogle Chromeを開きたいのですが、開きません。
現象
SeleniumをJavaScript(Node.js)で制御してGoogle Chromeを開きたいが、Google Chromeが起動しない。
期待値
掲載したコードを実行すると、Google Chromeを起動できるようにしたい。
再現手順
OS Pop!_OS 21.04
下記のコードを~$ node testで実行する。
test.js
const {Builder, By, ...
1
票
2
回答
1,167
閲覧数
エラー: stale element reference: element is not attached to the page document
以前は上手くテキストファイルにアウトプットされていたのですが、最近になってエラーが出ます。
エラー: stale element reference: element is not attached to the page document
やりたい事は、テキストファイルのデータを一行ずつ読み込み、ループで処理、アウトプットファイルにGoogle検索結果を書き出すという事です。
...
0
票
2
回答
1,226
閲覧数
Selenium, Python3, コンボボックスの現在の値の取得方法
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select, WebDriverWait
from selenium.webdriver.support ...
0
票
0
回答
602
閲覧数
pythonでのseleniumを用いたwebプロキシの設定について
pythonのseleniumをchromeで動かしてユーザー名とパスワードの設定のあるwebプロキシに自動的に接続できるようにしたいのですが、思うようにすすみません。
ubuntu20.04の実機を使ってcronで定期的にwebプロキシに接続をしてサイト情報を引っ張ってきたいのですが、headlessモードになると拡張機能を使うことが出来ずに失敗になってしまいます。
...
1
票
0
回答
149
閲覧数
同じ名前のclassがついているボタンから1つのボタンをクリックさせたい
やりたいこと
pythonとseleniumを使用して、毎日入力している勤怠の登録を自動化したいと考えています。
何をどうしたいか
現在苦戦しているところが、日付の分出てきているボタンをクリックすることです。
ボタンの箇所のhtmlは、実際のソースとは違いますが、以下のような形で日付分出てきています。
<table>
<tbody>
//1~5日のもの
...
0
票
0
回答
145
閲覧数
ChromeでHTMLファイルをPDF保存時のページサイズ指定が動作しない
Chrome上でHTMLファイルを開いて、PDFに保存するというのをやりたくて、
下記コードを書きましたが、コード中のappState内の"pageSize"をA3、A5、レターサイズと
どんなに値を変えて指定しても、出力されたPDFファイルのページサイズがA4となってしまいます。
appState内の他のプロパティ"isLandscapeEnabled"や&...
2
票
0
回答
159
閲覧数
Selenium で Chrome をモバイルモードで開くと位置情報を変更できません
SeleniumでChromeをモバイルモードで開いて位置情報を変更したいのですが、
MobileEmulation設定をするとGeoLocation設定が無視されてしまいます。
MobileEmulationなしだと位置情報の変更はできているので、
モバイルエミュレータを有効にすると位置情報の設定はできないということでしょうか?
options=options.add_argment("...
0
票
0
回答
117
閲覧数
Pythonでスクレイピング データを取得してCSVの該当箇所に書き込みたい
前提・実現したいこと
Pythonでスクレイピング データを取得してCSVに書き込みたいです。
セレニウムとPandasを利用しています。
Python3ヶ月目ほどで 本を読んだり検索したりしながら進めている状態です。
注文番号がはいったCSVファイルがあります。
この注文番号をURLに含めると 注文データの記載されたページにアクセスできるので、
そこから情報を取得して ...
0
票
0
回答
72
閲覧数
seleniumでangularのサイトをスクレイピング
seleniumでangularのサイトをスクレイピングしているのですが、inputのvalueを取得したいのですが、そもそもvalue属性が含まれておらずお手上げの状態です。誰か助けて下さい。よろしくお願いします。
0
票
1
回答
121
閲覧数
ExcelからTwitter(selenium)で特定の条件がある場合、繰り返し処理を行う方法について
前提・実現したいこと
python:seleniumを使って
Excelから繰り返しデータを読み、Twitterで複数のデータを検索したいです。
B列に同じ国が2つ以上ある場合、Twitterで下記のように検索したいです。
Excel データ
1 アメリカ カリフォルニア
1 アメリカ フロリダ
2 フランス パリ
3 日本 東京
検索したい順番
アメリカ "...
1
票
2
回答
834
閲覧数
selenium でのループ処理中にエラー発生時も終了しないようにしたい
seleniumを使用してスクレイピングをしようと考えています。
xpathの一部を変数にしてループさせてテキストを表示しようと考えています。
わからないこと
ループで回して取得しようとするのですが、取得する値の数がその時々で変わるので
何回ループを回せばよいのかわかりません。
ですので、該当するxpathが存在しなかった場合、ループを終わりにしたいのですが、うまくいかずエラーが起きてしまいます。
...
1
票
0
回答
296
閲覧数
seleniumでのxpathのループ
seleniumを使用してスクレイピングをしたいと考えています。
下記のコードを実行するとxpathの部分のテキストが表示されます。
elem_username = browser.find_elements_by_xpath('//*[@id="__next"]/div/div[4]/div/ul/div[1]/a/div/div[2]/div/ul[1]/li')
...
0
票
1
回答
1,668
閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
1
票
0
回答
165
閲覧数
seleniumでスクレイピングをする際、xpathのループの仕方がわかりません。
実行環境
windows10
python3
jupyterlab
前提・実現したいこと
ツイキャスのランキングから配信者の名前とtwitterのリンクをseleniumを使用し
スクレイピングしたいと考えています。
xpathの一部を変えてループをしようとした段階でエラーが起きてしまいました。
実際のコード
from time import sleep
from selenium import ...
1
票
1
回答
848
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
2
回答
1,253
閲覧数
Seleniumで取得保存したファイル名の特定
Ubuntu+Python+SeleniumでChromeを自動化し、Saveボタンをクリックしてファイルをローカルに保存するところまで出来ましたが、このファイル名が手動で制御出来ず、取得元のサイトが検索ワードに基づいて付けた適当な名前になります。
この、たった今保存されたファイルのファイル名をPythonで取得する場合、どの方法が賢いでしょうか。
ディレクトリを検索し、...
0
票
1
回答
432
閲覧数
Seleniumの要素を特定しているnameの取得方法が分からない?
こちらのQiita記事を参考にSeleniumの勉強をしています。
Ubuntu、Python3、Chromeを使っています。
以下のサンプルコードについて質門です。
import time
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.google.com/')
time....
0
票
1
回答
404
閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
0
回答
116
閲覧数
seleniumとopenpyxlによる英語翻訳
エクセルの自動翻訳(高速化)
エクセルファイルのセルの値を読みこみ、文字列をDeepLに流して英語に翻訳するプログラムを作成しました。
しかし、今の状態ではセル単位で処理を行うためどうしても処理が遅くなってしまいます。
条件分岐を設けて、翻訳対象を絞り込むことである程度高速に動かせるようになっていますが。
試したこと
自動翻訳にseleniumを利用しています。seleniumについて調べていると
...
0
票
1
回答
207
閲覧数
for文でのappendについて
python・プログラミング初めて3日ほどのド初心者です。
今回、Python・SeleniumでのWebスクレイピングに挑戦しております。
質問に際して、至らない点ございましたら、申し訳ございません。
実現したいこと
next_page_url_all → 「次のページ」をクリックした際に表示されるをURLを事前に取得しています。(リスト)
...
0
票
1
回答
103
閲覧数
Rubyでseleniumを使ってremoteで接続する際にNet::ReadTimeoutになる
現在、DockerCompose上のRubyでseleniumを使って、別サーバにchromeを使いたいのですがうまく動作しません。
以下に各種コードとエラー内容を書かせていただきます。
DockerCompose.yml
version: "3"
services:
rails:
build:
context: .
dockerfile:...
0
票
1
回答
240
閲覧数
スクレイピングで、テキストの一部が自動的に英語に翻訳された状態で取得される
Seleniumのスクレイピングについてご質問させていただきます。
現在、↓のページのスクレイピングスクリプトを書いています。
https://www.gakujo.ne.jp/2022/company/baseinfo/22242/
環境
MacBook Pro
Google Chrome
Jupyter Notebook
Selenium
症状
見出しの一部(『プロフィール』)...
0
票
1
回答
364
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
1
票
0
回答
891
閲覧数
Selenium IDEからIEを指定するとJavaScriptError
環境は Windows 8 (64bit), IE11, Selenium IDE 2.8 です。
https://code.google.com/p/selenium/wiki/InternetExplorerDriver の "Required Configuration" に従って、レジストリの更新と保護モードを全てのゾーンでONに。
...
0
票
1
回答
624
閲覧数
Edgeブラウザでseleniumを使用できない
Edgeブラウザでseleniumを使用しようとする際に
以下のようなエラーがありました。
selenium.common.exceptions.SessionNotCreatedException: Message: session not created: No matching capabilities found
...
0
票
1
回答
206
閲覧数
Excel to Selenium プルダウンリスト
やりたいこと
Excelからデータを読み込みプルダウンリストからデータを選択したいです。
下記のコードのように試してみましたが、エラーのようにエレメントが見つかりません。
なお、45行目で以下のようにテキストを指定すると成功します。
select.select_by_visible_text("10時台")
...
1
票
1
回答
1,082
閲覧数
HTMLのボタンからPythonスクリプトを用いてSeleniumを実行する方法について
Python+Seleniumで特定のサイトにログインするスクリプトを作成しました。
Brythonを使ってHTMLで作成したページからボタンを押してこのPythonを実行したいのですがうまくいきません。Seleniumを使わずに、HTML+Brython+Pythonでブラウザからボタンを押すとHelloと表示されるものまで作成できましたが、
from selenium import ...
0
票
1
回答
373
閲覧数
「指定したurlへ遷移する」のサンプルコードが実行できません
Python初心者です。
インターネットで調べました「指定したurlへ遷移する」のサンプルコード
from selenium import webdriver
driver = webdriver.Chrome("C:/Desktop/chromedriver.exe")
driver.get("https://www.yahoo.co.jp/")
...