[web-scraping] タグが付いた質問
102
質問
-2
票
1回答
257 件の閲覧数
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
たとえば事例として、EmEditorのリファレンス
http://www.emeditor.org/ja/index.html
裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。
リファレンス関連のページを全部結合→整形→ひとつにする
この方法もありますがやり方としては、簡易ではないです。
...
0
票
1回答
958 件の閲覧数
PythonのSeleniumを用いたhref=“javascript:void(0)”のスクレイピング
http://bit.sikkou.jp/app/past/pt003/h01/
上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。
GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。
該当場所のリンクがhref="javascript:void(0)"となっており、...
1
票
2回答
1,973 件の閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
1回答
857 件の閲覧数
URLリストからそれぞれのサイトをスクレイピングする方法
サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, ...
0
票
1回答
771 件の閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
1
票
1回答
83 件の閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
0
票
0回答
70 件の閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
0
票
0回答
31 件の閲覧数
chatworkデータをGASで収集したいがERRORがでてしまう
前提・実現したいこと
chatworkデータをGASで収集についてやってまして、
chatworkの個人設定情報を収集するところまではできたんですけど、
どうしてもグループチャットからメッセージを取得するところERRORがでてしまいます。
発生している問題・エラーメッセージ
「UrlFetchApp.fetch(url, params);」の例外ハンドリングというERRORが出てしまって
...
1
票
2回答
504 件の閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
票
0回答
33 件の閲覧数
Python Selenium で画像のアップロードができない
とあるサイトの
サインアップ画面でSeleniumを使い
画像のアップロードを行おうとしています。
以下がコードなのですがエラーが
**element not interactable **とでます。
写真のパスは間違っていないのですが
どのような原因が考えられますでしょうか?
from selenium import webdriver
from webdriver_manager.chrome ...
0
票
1回答
960 件の閲覧数
rubyでスクレイピングをしたいが、mechanizeがrequireできない
スクレイピングをしようとして実行すると以下のように表示されます。
調べてもわからず困っています。どなたか解決方法をお願いいたします。
$ ruby scraping_image.rb
/Users/〇〇〇/.rbenv/versions/2.3.1/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': ...
0
票
0回答
124 件の閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
1
票
1回答
188 件の閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
0
票
1回答
35 件の閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1回答
307 件の閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
1回答
1,070 件の閲覧数
colabで作成したフォルダをダウンロードしたい
google colab上でスクレイピングを行い、画像を収集したフォルダをローカルpcにダウンロードしたいです。ファイル一つ一つのダウンロードはfiles.download()でできるのですが、まとめてフォルダごとダウンロードする方法が分かりませんので教えていただきたいです
0
票
1回答
651 件の閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
2
票
2回答
1,041 件の閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
0
票
1回答
520 件の閲覧数
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
Pythonでairbnbのサイトをスクレイピングしようとしています。
PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)
おすすめの方法などありましたら教えて頂けると有難いです。
1
票
1回答
51 件の閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
1回答
141 件の閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
1回答
219 件の閲覧数
0
票
1回答
56 件の閲覧数
WebWorker側のWebSocketの関数をHookする
WebWorker(Dedicated Worker)側のWebsocketのコンストラクタとonmessageをHookする事はできますか?
Main thread であればJavaScript ProxyでHookできますが、これをWebWorker側のWebsocketに対して行いたいです。
WebWorkerのwindowはMain ...
-1
票
1回答
563 件の閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...
1
票
1回答
257 件の閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
0
票
0回答
31 件の閲覧数
firebaseのcloud functionにおいて、puppeteerを用いてブラウザの挙動を画面に表示は可能でしょうか?
現在、firebaseのcloud functionを利用して、スクレイピングする機能を実装しようとしています。
SPAのサイトのボタンを押すと、cloud functionのコードが発火し、スクレイピングした結果を返すイメージです。
#スクレイピングのための利用ライブラリはpuppeteerです。
puppeteerを立ち上げるための設定で、...
0
票
1回答
205 件の閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
-1
票
2回答
168 件の閲覧数
スクレイプ結果の出力
以前に回答していただいた点を修正して以下の様なコードを実行したのですが、欲しい出力が何も表示されずにプログラムが終了してしまいます...。何か原因に心あたりのある方がいらっしゃれば回答いただけると助かります。
#https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis....
0
票
1回答
135 件の閲覧数
スプレッドシートでリンクを範囲取得してリンク先を表示させたい
この記事の「6. 記事につけられたタグの取得」がうまくいきません
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
票
0回答
294 件の閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
0
票
1回答
371 件の閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
0回答
74 件の閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
1回答
502 件の閲覧数
Google 検索の結果をスクレイピングした時に画像が保存されない
https://your-3d.com/deeplearning-create-dataset/
上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。
コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
0
票
0回答
126 件の閲覧数
InstagramからPuppeteerで情報取得したいができない
◆質問概要
以下の通りInstagramからBody部を取得したいのですが、なぜかログインページ
のHTMLしか取得できず困っています。どなたか詳しい方ご教示いただければ幸いです。
◆環境
nodejs v12.18.1
puppeteer 4.0.0
Linux debian 10.4 (CUI環境)
(上記をGoogle Cloud Platform Compute Engine上で構築)
◆...
0
票
1回答
148 件の閲覧数
goQueryによるWebスクレイピング
doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple")
if err != nil {
fmt.Print("url scarapping failed")
}
fmt.Println(doc.Find("span #result_box").Text())
}
...
0
票
1回答
318 件の閲覧数
docker環境におけるseleniumを使ったスクレイピングについて
現在、docker環境でrailsを使って勉強中です。
seleniumでスクレイピングをして遊んでいます。
ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。
やりたいこと
ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。
理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
1
票
0回答
99 件の閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
1
票
1回答
133 件の閲覧数
Python スクレイピング テーブル取得不可
URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/...
0
票
2回答
87 件の閲覧数
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、...
1
票
1回答
531 件の閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
1回答
223 件の閲覧数
スクレイピング出力で文字化け
スクレイピング結果をcsvに出力したところ、文字化けがおこります。
出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか?
宜しくお願いします。
const {createObjectCsvWriter} = require('csv-writer');
const client = require('cheerio-httpcli');
const ...
1
票
3回答
229 件の閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
0
票
1回答
110 件の閲覧数
JSONデータから指定した値を取得するときのエラー
問題
言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。
エラー
回答コードの以下の箇所を変更して、...
1
票
1回答
85 件の閲覧数
Scrapyでコーディングしても“INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)”となりクローリングができない
wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。
具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。
メッセージ一部抜粋
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
...
0
票
1回答
70 件の閲覧数
OTAのWebページからホテル名を取得するXpath
OTAのWebページからホテル名をXpathで取得したいのですが
//*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1
の後の記述方法がわからず困っております。
URL
https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
1
票
1回答
585 件の閲覧数
BeautifulSoupで要素内の要素を取得したい
PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。
ソースコード
<div class="hoge">
<div class="piyo"></div>
<...
0
票
0回答
194 件の閲覧数
ChromeのWebDriverのダウンロードディレクトリについて
ChromeのWebDriverでスクレイピングをしています。
スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
0
票
1回答
2,478 件の閲覧数
BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい
from bs4 import BeautifulSoup
r = requests.get("********************")
soup = BeautifulSoup(r.content, "html.parser")
class = soup.find_all("div", class_ = "word")
このままだと、...
0
票
1回答
764 件の閲覧数
PythonのSeleniumで表示されているのにnot visibleな要素がクリックできない
このページの勤務地ボタンを押すとモーダルが表示されます。
モーダルの左メニューの地方をクリックするところまでは行けるのですが、例えば関西をクリック→大阪をクリックとしたい場合、大阪のチェックボックス(input要素)がnot visibleのためクリックできません。
当初はXpathでinput要素を取得していましたが、コードの方針を少し変えて、すべてのインプット要素をまず取得し、...
0
票
1回答
251 件の閲覧数
airbnbスクレイピング 県別データの抽出方法
プログラミングというより、airbnbのサイトの構造に関する質問となります。
Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?