[web-scraping] タグが付いた質問
120
質問
0
票
1
回答
45
閲覧数
start_urlsを都度変更したい
scrapyにおいてstart_urlを毎回変更したいです。
概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに
scrapyを用いて意味を出力するようにしたいです。
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, ...
0
票
1
回答
1,088
閲覧数
rubyでスクレイピングをしたいが、mechanizeがrequireできない
スクレイピングをしようとして実行すると以下のように表示されます。
調べてもわからず困っています。どなたか解決方法をお願いいたします。
$ ruby scraping_image.rb
/Users/〇〇〇/.rbenv/versions/2.3.1/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': ...
0
票
1
回答
287
閲覧数
webクローラーの仕組みや作り方を知りたい
クローラーを作りたいのですが、何から始めていいかわからず困っています。
下の質問でどれか一つでもいいので教えていただくと嬉しいです。
どうやってwebクローラーは作るのか
どのようにwebクローラーは動くのか
webクローラーの仕組みを教えてください。
そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
0
票
0
回答
44
閲覧数
scrapy startprojectでアクセス拒否の時の対処法
scrapy startproject [プロジェクト名]
を実行した際に
PermissionError: [WinError 5] アクセスが拒否されました。
と表示されます。
対処法を教えてください。
実行環境はwindows11 anacondaです。
1
票
1
回答
2,622
閲覧数
colabで作成したフォルダをダウンロードしたい
google colab上でスクレイピングを行い、画像を収集したフォルダをローカルpcにダウンロードしたいです。ファイル一つ一つのダウンロードはfiles.download()でできるのですが、まとめてフォルダごとダウンロードする方法が分かりませんので教えていただきたいです
0
票
3
回答
548
閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
0
票
1
回答
984
閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
0
票
1
回答
3,334
閲覧数
PythonのSeleniumを用いたhref="javascript:void(0)"のスクレイピング
http://bit.sikkou.jp/app/past/pt003/h01/
上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。
GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。
該当場所のリンクがhref="javascript:void(0)"となっており、...
0
票
1
回答
971
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
3
回答
185
閲覧数
Pythonでスクレイピング方法について
pythonで以下のページをスクレイピングし、フライト情報を取得したいです。
https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
0
票
1
回答
162
閲覧数
特定の箇所WEBスクレイピングができない
PythonでWEBページをスクレイピングしたいです。
サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。
Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。
HTML
<div class="...
0
票
0
回答
42
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
82
閲覧数
python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?
ある作業で自動的に生成されるindex.htmlと付随するデータがあります。
index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。
このhtmlをbeautifulsoupを使ってローカルindex....
1
票
2
回答
2,212
閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
0
回答
28
閲覧数
splash:mouse_clickでリンクをクリックしてもpop upが開かない
Scrapyでtownworkのバイト情報をスクレイピングしようと考えています。
勤務先住所を取るために地図のpopup画面を開きたく、Splashを使い始めました。
そこで、地図の部分のリンクをsplash:mouse_clickしたのですが、地図のpopupが開かず困っています。
他のリンクはclickすると画面遷移します。
地図のpopupの開き方をご教授頂けると幸いです。
対象のページは、
...
1
票
3
回答
147
閲覧数
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。
詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、
広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。
...
0
票
1
回答
2,274
閲覧数
URLリストからそれぞれのサイトをスクレイピングする方法
サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, ...
1
票
2
回答
559
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
2
票
1
回答
98
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
1
票
1
回答
367
閲覧数
年齢認証があるサイトをPythonでスクレイピングしたい
実現したいこと
下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。
そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)
他に2パターン試しましたが、それもうまくいきませんでした。
...
2
票
1
回答
120
閲覧数
とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない
やりたいこと
下記のサイトのランキングをスクレイピングするために,
通信状況を調べjsonファイルからデータを取得しようと考えています。
https://www.spooncast.net/jp/ranking/topfan?date_type=daily
実際のコード
下記のコードを実行しましたがエラーになりました。
import pandas as pd
import requests
...
1
票
2
回答
910
閲覧数
JupyterLabで問題なく実行されたコードがGoogle Colabで動かない
やりたいこと
自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、
JupyterLabで書いたコードをGoogle Colabで実行しようとしました。
しかし、どうにもGoogle Colabではエラーが出て動きません。
実際のコード
JupyterLabでは全く問題ありませんでした。
!pip install selenium
!pip install ...
0
票
0
回答
122
閲覧数
Pythonでスクレイピング データを取得してCSVの該当箇所に書き込みたい
前提・実現したいこと
Pythonでスクレイピング データを取得してCSVに書き込みたいです。
セレニウムとPandasを利用しています。
Python3ヶ月目ほどで 本を読んだり検索したりしながら進めている状態です。
注文番号がはいったCSVファイルがあります。
この注文番号をURLに含めると 注文データの記載されたページにアクセスできるので、
そこから情報を取得して ...
1
票
1
回答
202
閲覧数
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
0
票
1
回答
1,813
閲覧数
ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて
背景:
selenium初心者です
あるサイトの情報取得のためにseleniumを利用しているのですが
ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました
質問内容:
seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について
皆さんはどのように行われているのでしょうか。(...
1
票
2
回答
2,913
閲覧数
スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません
前提・実現したいこと
pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。
発生している問題・エラーメッセージ
TypeError: 'str' object is not callable
該当のソースコード
...
1
票
3
回答
266
閲覧数
スクレイピングでhref属性値の一部の値を取得したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です)
<a target=&...
0
票
1
回答
95
閲覧数
取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
エラー内容
スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、
NoMethodError: undefined ...
1
票
1
回答
123
閲覧数
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
<a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
1
票
1
回答
896
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
1
回答
170
閲覧数
Python スクレイピング環境
PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。
※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
0
票
2
回答
1,577
閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
0
票
1
回答
411
閲覧数
スクレイピング結果をエクセルに出力したい
アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。
初心者で色々と間違っているのは自覚してますがご教授ください。
options = Options()
options.add_argument('--headless')
# ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合)
#...
0
票
1
回答
760
閲覧数
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
Pythonでairbnbのサイトをスクレイピングしようとしています。
PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)
おすすめの方法などありましたら教えて頂けると有難いです。
0
票
1
回答
167
閲覧数
jsoupでのWebサイトの値取得について
NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。
実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。
<div id="js-slideimage-right01" ...
-2
票
1
回答
282
閲覧数
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
たとえば事例として、EmEditorのリファレンス
http://www.emeditor.org/ja/index.html
裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。
リファレンス関連のページを全部結合→整形→ひとつにする
この方法もありますがやり方としては、簡易ではないです。
...
1
票
1
回答
226
閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
0
票
0
回答
131
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
-1
票
2
回答
1,254
閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
票
0
回答
289
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
1
票
1
回答
325
閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
0
票
1
回答
51
閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1
回答
145
閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
1
回答
267
閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
1
回答
263
閲覧数
Laravelでのスクレイピング
テスト等ではなく、データ採集を目的とするスクレイピングでは、PHP、Laravelにおいてどのツールが最も適しているのでしょうか。ちなみに実行速度を重視したいです。
0
票
1
回答
71
閲覧数
WebWorker側のWebSocketの関数をHookする
WebWorker(Dedicated Worker)側のWebsocketのコンストラクタとonmessageをHookする事はできますか?
Main thread であればJavaScript ProxyでHookできますが、これをWebWorker側のWebsocketに対して行いたいです。
WebWorkerのwindowはMain ...
-1
票
1
回答
676
閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...
1
票
1
回答
345
閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
0
票
1
回答
237
閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
-1
票
2
回答
201
閲覧数
スクレイプ結果の出力
以前に回答していただいた点を修正して以下の様なコードを実行したのですが、欲しい出力が何も表示されずにプログラムが終了してしまいます...。何か原因に心あたりのある方がいらっしゃれば回答いただけると助かります。
#https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis....