[web-scraping] タグが付いた質問
26
未回答やベストアンサーなし質問
2
票
1
回答
108
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
2
票
0
回答
328
閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
1
票
0
回答
924
閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
0
回答
449
閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
1
票
2
回答
2,349
閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
0
回答
12
閲覧数
Streamlit上でrequests-htmlを用いたスクレイピングができない
以下のコードでStreamlit上にrequests-htmlを用いたスクレイピング結果を表示したいのですが、エラーが表示されます。
Python及びスクレイピング等初心者で、どうやらStreamlit上で非同期処理を動かす上での問題であるように思われますが、解決の糸口が見えていない状態です。
最終的には、動的サイトのスクレイピング結果をStreamlit上に表示することを目指しており、...
0
票
0
回答
122
閲覧数
スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。
前提
閲覧頂きありがとうございます。
為替レートの情報を自動で取得したく
スクレイピングを試みています。
下記のサイトでCookieの同意をクリックした後、
「Amount you paid」の項目に入力するため要素の取得をしたいのですが、
要素が見つからずエラーとなります。
■対象ページ
https://usa.visa.com/support/consumer/travel-support/...
0
票
1
回答
418
閲覧数
スクレイピングの文字化けを直したい
https://live23.5ch.net/test/read.cgi/livetbs/1220170942/
このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。
res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/")
soup = ...
0
票
1
回答
58
閲覧数
start_urlsを都度変更したい
scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, ...
0
票
0
回答
123
閲覧数
scrapy startprojectでアクセス拒否の時の対処法
scrapy startproject [プロジェクト名]
を実行した際に
PermissionError: [WinError 5] アクセスが拒否されました。
と表示されます。
対処法を教えてください。
実行環境はwindows11 anacondaです。
0
票
0
回答
72
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
0
回答
147
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
0
票
0
回答
373
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
0
票
1
回答
95
閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1
回答
246
閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
0
回答
521
閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
0
票
0
回答
115
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
0
回答
224
閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
0
票
1
回答
74
閲覧数
OTAのWebページからホテル名を取得するXpath
OTAのWebページからホテル名をXpathで取得したいのですが
//*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1
の後の記述方法がわからず困っております。
URL
https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
0
票
0
回答
382
閲覧数
ChromeのWebDriverのダウンロードディレクトリについて
ChromeのWebDriverでスクレイピングをしています。
スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
0
票
1
回答
448
閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
1
回答
157
閲覧数
スプレッドシートでリンクを範囲取得してリンク先を表示させたい
この記事の「6. 記事につけられたタグの取得」がうまくいきません
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
票
0
回答
129
閲覧数
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか?
三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。
...
0
票
1
回答
195
閲覧数
goQueryによるWebスクレイピング
doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple")
if err != nil {
fmt.Print("url scarapping failed")
}
fmt.Println(doc.Find("span #result_box").Text())
}
...
-1
票
0
回答
52
閲覧数
OctperthをつかってのScraypingシュミレーション
大阪市 歯医者 Google口コミになにかコメントのあるクリニックを抜粋したのです。
口コミ抜粋の手順としては
Octperthから
OctperthのSearch results‗Googleからどのような操作をしていくんでしょうか
https://gyazo.com/a3922b8ade3206a6a7921240f91b127d
Google Inageから
https://gyazo....
-1
票
1
回答
765
閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...