[web-scraping] タグが付いた質問
31
未回答やベストアンサーなし質問
3
票
1
回答
124
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
2
票
0
回答
342
閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
1
票
0
回答
1,067
閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
0
回答
553
閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
1
票
2
回答
2,541
閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
0
回答
192
閲覧数
SeleniumのEC.element_to_be_clickable(locator)について
Mac OS X Big Surを使用して、Pythonでプログラムを組んでいます。タイトルのメソッドを次のようにして使用しています。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
...
0
票
0
回答
359
閲覧数
Webスクレイピングでエラーが出て困っています
会社名と会社の住所のリストからスクレイピングで会社のウェブサイトのURLとそのウェブサイトの中の問い合わせフォームのURLを抽出してCSVファイルに書き出すというコードを作りました。
検索にはDuckduckgoを使っています。特にこだわりはないので他の検索でいいものがあれば教えてください。
しかし、会社名を検索してもNoneの値がCSVに入っているだけで
...
0
票
0
回答
164
閲覧数
WEBスクレイピングのログイン処理
WEBスクレイピングでログインまで自動化したいのですが、ログインボタンの要素が見つからず困っています。
canvas要素上の処理であることは確認できましたが、どうログイン処理を記述するかで詰まりました。
座標を具体的に指定して組めはしましたが、異なる端末環境で使用する予定の為あまり意味がありません。
JSから数値取得して座標指定するといったことはできるのでしょうか?
VBA/...
0
票
0
回答
172
閲覧数
chrome webdriverを使用して画像を取得したい
特定の自動車モデルの画像をGoogleイメージ検索を使って自動的にダウンロードするためのPythonスクリプトを作成しています.
しかし, webdriverが起動して検索を行うことは可能ですが, 画像の取得に失敗しそのままプログラムが終了してしまいます.
Selenium4を使用しています.
以下, ソースコードです.
from selenium.webdriver.common.by ...
0
票
0
回答
138
閲覧数
Rselenium でブラウザが起動しない
Rseleniumを使用したいのですがwebブラウザを開く段階でエラーが出てしまいました。
エラーメッセージ
Selenium message:Unable to create new service: ChromeDriverService
Build info: version: '3.141.59', revision: 'e82be7d358', time: '2018-11-14T08:...
0
票
0
回答
109
閲覧数
Rでのwebスクレイピング
Rでwebスクレイピングしたいと考えています。
抜き取りたい情報はM-1グランプリの情報で
(https://www.m-1gp.com/schedule/detail.html?id=539)におけるグループ名、コンビ名、結果の情報とコンビ名をクリックした先にある結成年、所属、前年度における結果等を抜き出そうと考えています。
初めのグループ名、コンビ名、...
0
票
0
回答
153
閲覧数
「Python スクレイピング&クローリング 増補改訂版」に出てくるコードのエラーについて
Python スクレイピング&クローリング 増補改訂版 を使ってスクレイピングの勉強をしている初心者です。
書籍通りに技術評論社のスクレイピングを実行している最中にエラーが出てしまいます。
特に聞きたいのはp57~p58にかけてのreモジュールのエラーについてです。
しかしそれまでの経緯も影響していそうなので、全体的なコードの流れも示していきます。
...
0
票
0
回答
436
閲覧数
seleniumを使ったスクレイピングでボタンをクリックする方法が知りたい
最近seleniumを使ったスクレイピングを勉強し始めたものです。
よろしくお願いいたします。
言語はpythonでVScodeを用いて実行しています。
やりたいことは、Googlemapのタイムラインを自動でダウンロードすることなのですが、
タイムラインを開くmenuボタンをクリックしようとしたところ、エラーになってしまいました。
実行しようとしてエラーが出てる箇所は以下の通りで
...
0
票
0
回答
271
閲覧数
スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。
前提
閲覧頂きありがとうございます。
為替レートの情報を自動で取得したく
スクレイピングを試みています。
下記のサイトでCookieの同意をクリックした後、
「Amount you paid」の項目に入力するため要素の取得をしたいのですが、
要素が見つからずエラーとなります。
■対象ページ
https://usa.visa.com/support/consumer/travel-support/...
0
票
1
回答
72
閲覧数
start_urlsを都度変更したい
scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, ...
0
票
0
回答
262
閲覧数
scrapy startprojectでアクセス拒否の時の対処法
scrapy startproject [プロジェクト名]
を実行した際に
PermissionError: [WinError 5] アクセスが拒否されました。
と表示されます。
対処法を教えてください。
実行環境はwindows11 anacondaです。
0
票
0
回答
117
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
0
回答
179
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
0
票
0
回答
459
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
0
票
1
回答
115
閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1
回答
352
閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
0
回答
634
閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
0
票
0
回答
156
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
0
回答
375
閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
0
票
1
回答
77
閲覧数
OTAのWebページからホテル名を取得するXpath
OTAのWebページからホテル名をXpathで取得したいのですが
//*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1
の後の記述方法がわからず困っております。
URL
https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
0
票
0
回答
474
閲覧数
ChromeのWebDriverのダウンロードディレクトリについて
ChromeのWebDriverでスクレイピングをしています。
スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
0
票
1
回答
459
閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
1
回答
163
閲覧数
スプレッドシートでリンクを範囲取得してリンク先を表示させたい
この記事の「6. 記事につけられたタグの取得」がうまくいきません
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
票
0
回答
135
閲覧数
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか?
三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。
...
0
票
1
回答
205
閲覧数
goQueryによるWebスクレイピング
doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple")
if err != nil {
fmt.Print("url scarapping failed")
}
fmt.Println(doc.Find("span #result_box").Text())
}
...
-1
票
1
回答
855
閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...