[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

絞り込み
並べ替え
タグ付けされた
0
1 回答
67 閲覧数

Streamlit上でrequests-htmlを用いたスクレイピングができない

以下のコードでStreamlit上にrequests-htmlを用いたスクレイピング結果を表示したいのですが、エラーが表示されます。 Python及びスクレイピング等初心者で、どうやらStreamlit上で非同期処理を動かす上での問題であるように思われますが、解決の糸口が見えていない状態です。 最終的には、動的サイトのスクレイピング結果をStreamlit上に表示することを目指しており、...
1
2 回答
2,349 閲覧数

python + selenium + chromeでHTMLを読み込みたい

https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html 上記サイトから稼働状況のテーブルを抜き出したいと考えています。 テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。 import time from ...
1
1 回答
238 閲覧数

Yahoo!ニュースの検索窓で検索した時の「もっと見る」ボタン以降のテキスト情報をスクレイピングする

下記の質問とほぼ同じになるのですが、私の力では解決できなかったため同様の質問をさせていただきます。 Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする Yahoo!ニュースの検索窓にキーワードを入力しテキスト情報をスクレイピングで取得しようとしています。 ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、 「もっと見る」...
0
0 回答
123 閲覧数

スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。

前提 閲覧頂きありがとうございます。 為替レートの情報を自動で取得したく スクレイピングを試みています。 下記のサイトでCookieの同意をクリックした後、 「Amount you paid」の項目に入力するため要素の取得をしたいのですが、 要素が見つからずエラーとなります。 ■対象ページ https://usa.visa.com/support/consumer/travel-support/...
0
1 回答
448 閲覧数

スクレイピング結果をエクセルに出力したい

アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。 初心者で色々と間違っているのは自覚してますがご教授ください。 options = Options() options.add_argument('--headless') # ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合) #...
0
3 回答
744 閲覧数

pythonでスクレイピング実行時でのエラーについて。

下記にてpythonのスクレイピングを実行しているのですが、 Traceback (most recent call last): File "link_network.py", line 81, in <module> G = make_network(args.url, urls) File "link_network.py", line 33, in ...
0
5 回答
297 閲覧数

pythonのwebスクレイピングでタグのclassが入っていないタグを収集するには

code: blok[0].find_all('span') out [<span>(11/20 11:46)</span>, <span class="PhotoIcon"></span>, <span>(11/20 11:04)</span>, <span class="...
0
2 回答
409 閲覧数

サイトからスクレイピングでcsvファイルをダウンロードしたい。

1.以下のサイトから11月7日の野菜価格csvファイルのみをダウンロードしたい。 https://www.seisen.maff.go.jp/seisen/bs04b040md001/BS04B040UC020SC001-Evt001.do サイト自体は以下のように誰でもデータをダウンロードできる。 2.以下のエラーが出て、ダウンロードまでに至らない。 上記自己解決 elems = ...
2
2 回答
132 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
0
1 回答
68 閲覧数

class scrapy.spiders.Spider は何を意味しているのか

【スパイダー — Scrapy 1.7.3 ドキュメント】 python初めて数ヶ月の初学者です。 クローラー・ウェブスクレイピングツールscrapyの公式ドキュメントを読んでいて、以下のような記述がありました。 このclass scrapy.spiders.Spiderという記述は、それぞれ何を表すものなのでしょうか? クラス(オブジェクト)名.メソッド名などであればわかるのですが、...
0
1 回答
422 閲覧数

スクレイピングの文字化けを直したい

https://live23.5ch.net/test/read.cgi/livetbs/1220170942/ このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。 res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/") soup = ...
0
1 回答
58 閲覧数

start_urlsを都度変更したい

scrapyにおいてstart_urlを毎回変更したいです。 概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに scrapyを用いて意味を出力するようにしたいです。 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, ...
0
1 回答
1,118 閲覧数

rubyでスクレイピングをしたいが、mechanizeがrequireできない

スクレイピングをしようとして実行すると以下のように表示されます。 調べてもわからず困っています。どなたか解決方法をお願いいたします。 $ ruby scraping_image.rb /Users/〇〇〇/.rbenv/versions/2.3.1/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': ...
0
1 回答
328 閲覧数

webクローラーの仕組みや作り方を知りたい

クローラーを作りたいのですが、何から始めていいかわからず困っています。 下の質問でどれか一つでもいいので教えていただくと嬉しいです。 どうやってwebクローラーは作るのか どのようにwebクローラーは動くのか webクローラーの仕組みを教えてください。 そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
0
0 回答
124 閲覧数

scrapy startprojectでアクセス拒否の時の対処法

scrapy startproject [プロジェクト名] を実行した際に PermissionError: [WinError 5] アクセスが拒否されました。 と表示されます。 対処法を教えてください。 実行環境はwindows11 anacondaです。
0
1 回答
1,062 閲覧数

PythonスクレイピングでGoogle検索画面情報取得

https://torahack.com/python-scraping-for-seo/ このサイトにあるように、 ①検索結果上位サイトのURLを取得 ②title,description等を抜き出す。 ③CSVで出力、ダウンロード ということをやりたいのですが、うまくいきません。 下記のGoogle colabファイルを作成実行したところ csvファイルが生成されるのですが、中身は空でした。...
0
1 回答
4,578 閲覧数

PythonのSeleniumを用いたhref="javascript:void(0)"のスクレイピング

http://bit.sikkou.jp/app/past/pt003/h01/ 上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。 GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。 該当場所のリンクがhref="javascript:void(0)"となっており、...
0
1 回答
1,652 閲覧数

"NameError: name 'url' is not defined" の解決方法を教えてください

Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、 "【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。 エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。 ご教授お願いします。 エラーメッセージ: ...
0
3 回答
258 閲覧数

Pythonでスクレイピング方法について

pythonで以下のページをスクレイピングし、フライト情報を取得したいです。 https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
0
1 回答
466 閲覧数

特定の箇所WEBスクレイピングができない

PythonでWEBページをスクレイピングしたいです。 サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。 Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。 HTML <div class="...
0
0 回答
75 閲覧数

Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい

やりたい・やりたかったこと スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?) BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい 今回は技術的詳細に関する質問というよりは、上記のような、...
0
1 回答
156 閲覧数

python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?

ある作業で自動的に生成されるindex.htmlと付随するデータがあります。 index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。 このhtmlをbeautifulsoupを使ってローカルindex....
1
3 回答
152 閲覧数

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。 詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、 広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。 ...
0
1 回答
2,934 閲覧数

URLリストからそれぞれのサイトをスクレイピングする方法

サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。 URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。 ・URLを取得するコード import requests, ...
1
2 回答
993 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
2
1 回答
108 閲覧数

Pythonで大学ランキングのスクレイピング

pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。 https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities selenium BeautifulSoupを用いてコードを書いたのですが、...
1
1 回答
612 閲覧数

年齢認証があるサイトをPythonでスクレイピングしたい

実現したいこと 下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。 そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照) 他に2パターン試しましたが、それもうまくいきませんでした。 ...
2
1 回答
186 閲覧数

とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない

やりたいこと 下記のサイトのランキングをスクレイピングするために, 通信状況を調べjsonファイルからデータを取得しようと考えています。 https://www.spooncast.net/jp/ranking/topfan?date_type=daily 実際のコード 下記のコードを実行しましたがエラーになりました。 import pandas as pd import requests ...
1
2 回答
1,952 閲覧数

JupyterLabで問題なく実行されたコードがGoogle Colabで動かない

やりたいこと 自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、 JupyterLabで書いたコードをGoogle Colabで実行しようとしました。 しかし、どうにもGoogle Colabではエラーが出て動きません。 実際のコード JupyterLabでは全く問題ありませんでした。 !pip install selenium !pip install ...
1
1 回答
233 閲覧数

画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
0
1 回答
2,240 閲覧数

ブラウザ表示とヘッダレスモードで動作が異なる場合の切り分けについて

背景: selenium初心者です あるサイトの情報取得のためにseleniumを利用しているのですが ブラウザ表示時には正常に情報取得ができていたにも関わらず、ヘッダレス モードで実行した場合には下記のエラーが発生し、情報取得が不可となりました 質問内容: seleniumブラウザ表示時とヘッダレス動作時に挙動が異なる場合の切り分け方法について 皆さんはどのように行われているのでしょうか。(...
1
2 回答
5,113 閲覧数

スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません

前提・実現したいこと pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。 発生している問題・エラーメッセージ TypeError: 'str' object is not callable 該当のソースコード ...
1
3 回答
341 閲覧数

スクレイピングでhref属性値の一部の値を取得したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと 下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です) <a target=&...
0
1 回答
117 閲覧数

取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 エラー内容 スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、 NoMethodError: undefined ...
1
1 回答
198 閲覧数

同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと <a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
1
1 回答
1,060 閲覧数

Yahoo検索のスクレイピングで広告だけが取得できない

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。 もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
1 回答
176 閲覧数

Python スクレイピング環境

PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。 ※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
0
2 回答
1,813 閲覧数

Google検索結果のスクレイピングができない。

Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが 下記の疑問点が解決できないのでどなたか教えて下さい。 ①下記エラーを修正する方法を知りたい。 a = str(list[i]).strip('') IndexError: list index out of range ②titleとそのURLを取得する方法を知りたい。 参考にしたサイト https:...
0
1 回答
880 閲覧数

Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい

Pythonでairbnbのサイトをスクレイピングしようとしています。 PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています) おすすめの方法などありましたら教えて頂けると有難いです。
0
1 回答
284 閲覧数

jsoupでのWebサイトの値取得について

NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。 実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。 <div id="js-slideimage-right01" ...
-2
1 回答
288 閲覧数

EmEditorをウェブスクレイピングとして使うことは可能でしょうか?

EmEditorをウェブスクレイピングとして使うことは可能でしょうか? たとえば事例として、EmEditorのリファレンス http://www.emeditor.org/ja/index.html 裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。 リファレンス関連のページを全部結合→整形→ひとつにする この方法もありますがやり方としては、簡易ではないです。 ...
1
1 回答
416 閲覧数

Pythonでスクレイピングした結果の出力がされない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。 本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。 (...
0
0 回答
148 閲覧数

Pyhonでスクレイピングした結果が表示されない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。 from ...
-1
2 回答
1,655 閲覧数

Pythonのスクレイピングでデータが取得できない

Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。 スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。 ウェブページは以下のものです。 https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
0 回答
373 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
1
1 回答
384 閲覧数

WEBスクレイピングができない

PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。 コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか? !pip install geocoder import requests import pandas as pd from bs4 ...
0
1 回答
96 閲覧数

Rvestを用いた複数のページからのtableデータの取り出し

Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。 一日だけのデータならば、以下のコードで成功しました。 html <- read_html() data <-html %>% html_table(fill=TRUE) しかし、一ヶ月分のデータを得るために以下のコード for (i in 1:31) を用いた場合、...
0
1 回答
246 閲覧数

ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい

Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、 /tmp/.com.google.Chrome.XXXXX/internal.zip (xxxxxはランダム文字列で起動のたびに異なる) のようなファイルが作成されます。 このファイルが作成されるパスを特定のディレクトリに変更したいです。 変更したい背景 上記ファイルがウィルススキャンソフト(...
0
1 回答
331 閲覧数

Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。

スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。 実際の画面: Pythonの画面:
0
1 回答
307 閲覧数

Laravelでのスクレイピング

テスト等ではなく、データ採集を目的とするスクレイピングでは、PHP、Laravelにおいてどのツールが最も適しているのでしょうか。ちなみに実行速度を重視したいです。