[web-scraping] タグが付いた質問
32
未回答やベストアンサーなし質問
3
票
0回答
298 件の閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
2
票
2回答
955 件の閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
1
票
2回答
366 件の閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
1
票
0回答
86 件の閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
1
票
3回答
205 件の閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
1
票
0回答
112 件の閲覧数
Selenium + BeautifulSoup でのWebスクレイピングについて
現在スクレイピングでOKWAVEの質問をCSVに落とし込むコードを書いています。
全体像としては「検索語」を指定して出てきたページの質問1-10件目のページを開いてスクレイピング、すべてのページを閉じる、次のページで11-20件目の質問ページを開く、を10ページまで繰り返すというプログラムにしようかと思っています。
現在Seleniumでウェブを開き語句を検索、ページを出した所で1-...
1
票
0回答
565 件の閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
0回答
97 件の閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
1
票
2回答
1,920 件の閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
0回答
22 件の閲覧数
chatworkデータをGASで収集したいがERRORがでてしまう
前提・実現したいこと
chatworkデータをGASで収集についてやってまして、
chatworkの個人設定情報を収集するところまではできたんですけど、
どうしてもグループチャットからメッセージを取得するところERRORがでてしまいます。
発生している問題・エラーメッセージ
「UrlFetchApp.fetch(url, params);」の例外ハンドリングというERRORが出てしまって
...
0
票
0回答
25 件の閲覧数
Python Selenium で画像のアップロードができない
とあるサイトの
サインアップ画面でSeleniumを使い
画像のアップロードを行おうとしています。
以下がコードなのですがエラーが
**element not interactable **とでます。
写真のパスは間違っていないのですが
どのような原因が考えられますでしょうか?
from selenium import webdriver
from webdriver_manager.chrome ...
0
票
0回答
107 件の閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
0
票
1回答
35 件の閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
0回答
28 件の閲覧数
firebaseのcloud functionにおいて、puppeteerを用いてブラウザの挙動を画面に表示は可能でしょうか?
現在、firebaseのcloud functionを利用して、スクレイピングする機能を実装しようとしています。
SPAのサイトのボタンを押すと、cloud functionのコードが発火し、スクレイピングした結果を返すイメージです。
#スクレイピングのための利用ライブラリはpuppeteerです。
puppeteerを立ち上げるための設定で、...
0
票
1回答
656 件の閲覧数
PythonのSeleniumを用いたhref=“javascript:void(0)”のスクレイピング
http://bit.sikkou.jp/app/past/pt003/h01/
上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。
GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。
該当場所のリンクがhref="javascript:void(0)"となっており、...
0
票
0回答
253 件の閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
0
票
0回答
33 件の閲覧数
pythonで文字列を画像に出力する方法を教えて下さい
pythonの学習中です。
BeautifulSoupでスクレイピングしたあと、その結果を画像ファイルとして出力したいのですが、方法を教えて下さい。
0
票
0回答
96 件の閲覧数
InstagramからPuppeteerで情報取得したいができない
◆質問概要
以下の通りInstagramからBody部を取得したいのですが、なぜかログインページ
のHTMLしか取得できず困っています。どなたか詳しい方ご教示いただければ幸いです。
◆環境
nodejs v12.18.1
puppeteer 4.0.0
Linux debian 10.4 (CUI環境)
(上記をGoogle Cloud Platform Compute Engine上で構築)
◆...
0
票
0回答
72 件の閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
1回答
68 件の閲覧数
OTAのWebページからホテル名を取得するXpath
OTAのWebページからホテル名をXpathで取得したいのですが
//*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1
の後の記述方法がわからず困っております。
URL
https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
0
票
1回答
682 件の閲覧数
URLリストからそれぞれのサイトをスクレイピングする方法
サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, ...
0
票
1回答
935 件の閲覧数
colabで作成したフォルダをダウンロードしたい
google colab上でスクレイピングを行い、画像を収集したフォルダをローカルpcにダウンロードしたいです。ファイル一つ一つのダウンロードはfiles.download()でできるのですが、まとめてフォルダごとダウンロードする方法が分かりませんので教えていただきたいです
0
票
0回答
183 件の閲覧数
ChromeのWebDriverのダウンロードディレクトリについて
ChromeのWebDriverでスクレイピングをしています。
スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
0
票
1回答
619 件の閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
0
票
0回答
636 件の閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
0
票
1回答
495 件の閲覧数
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
Pythonでairbnbのサイトをスクレイピングしようとしています。
PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)
おすすめの方法などありましたら教えて頂けると有難いです。
0
票
1回答
298 件の閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
1回答
130 件の閲覧数
スプレッドシートでリンクを範囲取得してリンク先を表示させたい
この記事の「6. 記事につけられたタグの取得」がうまくいきません
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
票
0回答
111 件の閲覧数
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか?
三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。
...
0
票
1回答
144 件の閲覧数
goQueryによるWebスクレイピング
doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple")
if err != nil {
fmt.Print("url scarapping failed")
}
fmt.Println(doc.Find("span #result_box").Text())
}
...
0
票
1回答
942 件の閲覧数
rubyでスクレイピングをしたいが、mechanizeがrequireできない
スクレイピングをしようとして実行すると以下のように表示されます。
調べてもわからず困っています。どなたか解決方法をお願いいたします。
$ ruby scraping_image.rb
/Users/〇〇〇/.rbenv/versions/2.3.1/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': ...
-1
票
1回答
547 件の閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...