[web-scraping] タグが付いた質問
125
質問
-1
票
0
回答
52
閲覧数
OctperthをつかってのScraypingシュミレーション
大阪市 歯医者 Google口コミになにかコメントのあるクリニックを抜粋したのです。
口コミ抜粋の手順としては
Octperthから
OctperthのSearch results‗Googleからどのような操作をしていくんでしょうか
https://gyazo.com/a3922b8ade3206a6a7921240f91b127d
Google Inageから
https://gyazo....
1
票
1
回答
235
閲覧数
Yahoo!ニュースの検索窓で検索した時の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
下記の質問とほぼ同じになるのですが、私の力では解決できなかったため同様の質問をさせていただきます。
Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
Yahoo!ニュースの検索窓にキーワードを入力しテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」...
0
票
0
回答
122
閲覧数
スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。
前提
閲覧頂きありがとうございます。
為替レートの情報を自動で取得したく
スクレイピングを試みています。
下記のサイトでCookieの同意をクリックした後、
「Amount you paid」の項目に入力するため要素の取得をしたいのですが、
要素が見つからずエラーとなります。
■対象ページ
https://usa.visa.com/support/consumer/travel-support/...
0
票
5
回答
290
閲覧数
pythonのwebスクレイピングでタグのclassが入っていないタグを収集するには
code:
blok[0].find_all('span')
out
[<span>(11/20 11:46)</span>,
<span class="PhotoIcon"></span>,
<span>(11/20 11:04)</span>,
<span class="...
0
票
2
回答
400
閲覧数
サイトからスクレイピングでcsvファイルをダウンロードしたい。
1.以下のサイトから11月7日の野菜価格csvファイルのみをダウンロードしたい。
https://www.seisen.maff.go.jp/seisen/bs04b040md001/BS04B040UC020SC001-Evt001.do
サイト自体は以下のように誰でもデータをダウンロードできる。
2.以下のエラーが出て、ダウンロードまでに至らない。
上記自己解決
elems = ...
2
票
2
回答
131
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
0
票
1
回答
68
閲覧数
class scrapy.spiders.Spider は何を意味しているのか
【スパイダー — Scrapy 1.7.3 ドキュメント】
python初めて数ヶ月の初学者です。
クローラー・ウェブスクレイピングツールscrapyの公式ドキュメントを読んでいて、以下のような記述がありました。
このclass scrapy.spiders.Spiderという記述は、それぞれ何を表すものなのでしょうか?
クラス(オブジェクト)名.メソッド名などであればわかるのですが、...
0
票
1
回答
411
閲覧数
スクレイピングの文字化けを直したい
https://live23.5ch.net/test/read.cgi/livetbs/1220170942/
このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。
res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/")
soup = ...
0
票
1
回答
58
閲覧数
start_urlsを都度変更したい
scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, ...
0
票
0
回答
123
閲覧数
scrapy startprojectでアクセス拒否の時の対処法
scrapy startproject [プロジェクト名]
を実行した際に
PermissionError: [WinError 5] アクセスが拒否されました。
と表示されます。
対処法を教えてください。
実行環境はwindows11 anacondaです。
0
票
3
回答
257
閲覧数
Pythonでスクレイピング方法について
pythonで以下のページをスクレイピングし、フライト情報を取得したいです。
https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
0
票
1
回答
455
閲覧数
特定の箇所WEBスクレイピングができない
PythonでWEBページをスクレイピングしたいです。
サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。
Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。
HTML
<div class="...
0
票
0
回答
69
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
156
閲覧数
python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?
ある作業で自動的に生成されるindex.htmlと付随するデータがあります。
index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。
このhtmlをbeautifulsoupを使ってローカルindex....
1
票
3
回答
152
閲覧数
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。
詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、
広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。
...
1
票
2
回答
980
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
2
票
1
回答
108
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
1
票
1
回答
603
閲覧数
年齢認証があるサイトをPythonでスクレイピングしたい
実現したいこと
下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。
そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)
他に2パターン試しましたが、それもうまくいきませんでした。
...
2
票
1
回答
182
閲覧数
とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない
やりたいこと
下記のサイトのランキングをスクレイピングするために,
通信状況を調べjsonファイルからデータを取得しようと考えています。
https://www.spooncast.net/jp/ranking/topfan?date_type=daily
実際のコード
下記のコードを実行しましたがエラーになりました。
import pandas as pd
import requests
...
1
票
1
回答
233
閲覧数
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
1
票
2
回答
1,927
閲覧数
JupyterLabで問題なく実行されたコードがGoogle Colabで動かない
やりたいこと
自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、
JupyterLabで書いたコードをGoogle Colabで実行しようとしました。
しかし、どうにもGoogle Colabではエラーが出て動きません。
実際のコード
JupyterLabでは全く問題ありませんでした。
!pip install selenium
!pip install ...
1
票
2
回答
5,028
閲覧数
スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません
前提・実現したいこと
pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。
発生している問題・エラーメッセージ
TypeError: 'str' object is not callable
該当のソースコード
...
1
票
3
回答
340
閲覧数
スクレイピングでhref属性値の一部の値を取得したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です)
<a target=&...
0
票
1
回答
1,643
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
1
回答
117
閲覧数
取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
エラー内容
スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、
NoMethodError: undefined ...
1
票
1
回答
198
閲覧数
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
<a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
0
票
1
回答
176
閲覧数
Python スクレイピング環境
PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。
※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
0
票
1
回答
280
閲覧数
jsoupでのWebサイトの値取得について
NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。
実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。
<div id="js-slideimage-right01" ...
-2
票
1
回答
288
閲覧数
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
たとえば事例として、EmEditorのリファレンス
http://www.emeditor.org/ja/index.html
裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。
リファレンス関連のページを全部結合→整形→ひとつにする
この方法もありますがやり方としては、簡易ではないです。
...
0
票
0
回答
147
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
1
票
1
回答
408
閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
0
票
0
回答
372
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
1
票
1
回答
382
閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
0
票
1
回答
95
閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1
回答
244
閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
1
回答
330
閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
1
回答
4,540
閲覧数
PythonのSeleniumを用いたhref="javascript:void(0)"のスクレイピング
http://bit.sikkou.jp/app/past/pt003/h01/
上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。
GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。
該当場所のリンクがhref="javascript:void(0)"となっており、...
0
票
0
回答
514
閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
-1
票
2
回答
1,645
閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
票
1
回答
1,825
閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
1
回答
328
閲覧数
webクローラーの仕組みや作り方を知りたい
クローラーを作りたいのですが、何から始めていいかわからず困っています。
下の質問でどれか一つでもいいので教えていただくと嬉しいです。
どうやってwebクローラーは作るのか
どのようにwebクローラーは動くのか
webクローラーの仕組みを教えてください。
そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
0
票
0
回答
115
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
0
回答
224
閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
0
票
1
回答
764
閲覧数
Google 検索の結果をスクレイピングした時に画像が保存されない
https://your-3d.com/deeplearning-create-dataset/
上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。
コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
0
票
1
回答
325
閲覧数
Python スクレイピング テーブル取得不可
URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/...
0
票
2
回答
126
閲覧数
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、...
0
票
1
回答
588
閲覧数
スクレイピング出力で文字化け
スクレイピング結果をcsvに出力したところ、文字化けがおこります。
出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか?
宜しくお願いします。
const {createObjectCsvWriter} = require('csv-writer');
const client = require('cheerio-httpcli');
const ...
0
票
3
回答
739
閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
0
票
1
回答
548
閲覧数
JSONデータから指定した値を取得するときのエラー
問題
言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。
エラー
回答コードの以下の箇所を変更して、...
0
票
1
回答
211
閲覧数
Scrapyでコーディングしても"INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)"となりクローリングができない
wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。
具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。
メッセージ一部抜粋
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
...