[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

絞り込み
並べ替え
タグ付けされた
-1
0 回答
52 閲覧数

OctperthをつかってのScraypingシュミレーション

大阪市 歯医者 Google口コミになにかコメントのあるクリニックを抜粋したのです。 口コミ抜粋の手順としては Octperthから OctperthのSearch results‗Googleからどのような操作をしていくんでしょうか https://gyazo.com/a3922b8ade3206a6a7921240f91b127d Google Inageから https://gyazo....
Omaruko2016's user avatar
1
1 回答
235 閲覧数

Yahoo!ニュースの検索窓で検索した時の「もっと見る」ボタン以降のテキスト情報をスクレイピングする

下記の質問とほぼ同じになるのですが、私の力では解決できなかったため同様の質問をさせていただきます。 Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする Yahoo!ニュースの検索窓にキーワードを入力しテキスト情報をスクレイピングで取得しようとしています。 ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、 「もっと見る」...
kobo_jp's user avatar
  • 31
0
0 回答
122 閲覧数

スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。

前提 閲覧頂きありがとうございます。 為替レートの情報を自動で取得したく スクレイピングを試みています。 下記のサイトでCookieの同意をクリックした後、 「Amount you paid」の項目に入力するため要素の取得をしたいのですが、 要素が見つからずエラーとなります。 ■対象ページ https://usa.visa.com/support/consumer/travel-support/...
shin t's user avatar
  • 1
0
5 回答
290 閲覧数

pythonのwebスクレイピングでタグのclassが入っていないタグを収集するには

code: blok[0].find_all('span') out [<span>(11/20 11:46)</span>, <span class="PhotoIcon"></span>, <span>(11/20 11:04)</span>, <span class="...
ytk064's user avatar
  • 3
0
2 回答
400 閲覧数

サイトからスクレイピングでcsvファイルをダウンロードしたい。

1.以下のサイトから11月7日の野菜価格csvファイルのみをダウンロードしたい。 https://www.seisen.maff.go.jp/seisen/bs04b040md001/BS04B040UC020SC001-Evt001.do サイト自体は以下のように誰でもデータをダウンロードできる。 2.以下のエラーが出て、ダウンロードまでに至らない。 上記自己解決 elems = ...
Ichiro Nakajima's user avatar
2
2 回答
131 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
Augusto_Soba's user avatar
0
1 回答
68 閲覧数

class scrapy.spiders.Spider は何を意味しているのか

【スパイダー — Scrapy 1.7.3 ドキュメント】 python初めて数ヶ月の初学者です。 クローラー・ウェブスクレイピングツールscrapyの公式ドキュメントを読んでいて、以下のような記述がありました。 このclass scrapy.spiders.Spiderという記述は、それぞれ何を表すものなのでしょうか? クラス(オブジェクト)名.メソッド名などであればわかるのですが、...
K_MM's user avatar
  • 25
0
1 回答
411 閲覧数

スクレイピングの文字化けを直したい

https://live23.5ch.net/test/read.cgi/livetbs/1220170942/ このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。 res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/") soup = ...
user49026's user avatar
0
1 回答
58 閲覧数

start_urlsを都度変更したい

scrapyにおいてstart_urlを毎回変更したいです。 概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに scrapyを用いて意味を出力するようにしたいです。 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, ...
kuratosu's user avatar
0
0 回答
123 閲覧数

scrapy startprojectでアクセス拒否の時の対処法

scrapy startproject [プロジェクト名] を実行した際に PermissionError: [WinError 5] アクセスが拒否されました。 と表示されます。 対処法を教えてください。 実行環境はwindows11 anacondaです。
kuratosu's user avatar
0
3 回答
257 閲覧数

Pythonでスクレイピング方法について

pythonで以下のページをスクレイピングし、フライト情報を取得したいです。 https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
幸589's user avatar
  • 435
0
1 回答
455 閲覧数

特定の箇所WEBスクレイピングができない

PythonでWEBページをスクレイピングしたいです。 サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。 Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。 HTML <div class="...
幸589's user avatar
  • 435
0
0 回答
69 閲覧数

Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい

やりたい・やりたかったこと スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?) BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい 今回は技術的詳細に関する質問というよりは、上記のような、...
K_MM's user avatar
  • 25
0
1 回答
156 閲覧数

python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?

ある作業で自動的に生成されるindex.htmlと付随するデータがあります。 index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。 このhtmlをbeautifulsoupを使ってローカルindex....
MSAII's user avatar
  • 122
1
3 回答
152 閲覧数

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。 詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、 広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。 ...
MSAII's user avatar
  • 122
1
2 回答
980 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
初心者です's user avatar
2
1 回答
108 閲覧数

Pythonで大学ランキングのスクレイピング

pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。 https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities selenium BeautifulSoupを用いてコードを書いたのですが、...
nonames's user avatar
  • 21
1
1 回答
603 閲覧数

年齢認証があるサイトをPythonでスクレイピングしたい

実現したいこと 下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。 そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照) 他に2パターン試しましたが、それもうまくいきませんでした。 ...
gaomu's user avatar
  • 13
2
1 回答
182 閲覧数

とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない

やりたいこと 下記のサイトのランキングをスクレイピングするために, 通信状況を調べjsonファイルからデータを取得しようと考えています。 https://www.spooncast.net/jp/ranking/topfan?date_type=daily 実際のコード 下記のコードを実行しましたがエラーになりました。 import pandas as pd import requests ...
zumo1224's user avatar
  • 113
1
1 回答
233 閲覧数

画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
taddy's user avatar
  • 73
1
2 回答
1,927 閲覧数

JupyterLabで問題なく実行されたコードがGoogle Colabで動かない

やりたいこと 自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、 JupyterLabで書いたコードをGoogle Colabで実行しようとしました。 しかし、どうにもGoogle Colabではエラーが出て動きません。 実際のコード JupyterLabでは全く問題ありませんでした。 !pip install selenium !pip install ...
zumo1224's user avatar
  • 113
1
2 回答
5,028 閲覧数

スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません

前提・実現したいこと pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。 発生している問題・エラーメッセージ TypeError: 'str' object is not callable 該当のソースコード ...
user45546's user avatar
1
3 回答
340 閲覧数

スクレイピングでhref属性値の一部の値を取得したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと 下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です) <a target=&...
taddy's user avatar
  • 73
0
1 回答
1,643 閲覧数

"NameError: name 'url' is not defined" の解決方法を教えてください

Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、 "【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。 エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。 ご教授お願いします。 エラーメッセージ: ...
Genki2018's user avatar
0
1 回答
117 閲覧数

取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 エラー内容 スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、 NoMethodError: undefined ...
taddy's user avatar
  • 73
1
1 回答
198 閲覧数

同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと <a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
taddy's user avatar
  • 73
0
1 回答
176 閲覧数

Python スクレイピング環境

PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。 ※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
user47180's user avatar
0
1 回答
280 閲覧数

jsoupでのWebサイトの値取得について

NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。 実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。 <div id="js-slideimage-right01" ...
ぶらっく's user avatar
-2
1 回答
288 閲覧数

EmEditorをウェブスクレイピングとして使うことは可能でしょうか?

EmEditorをウェブスクレイピングとして使うことは可能でしょうか? たとえば事例として、EmEditorのリファレンス http://www.emeditor.org/ja/index.html 裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。 リファレンス関連のページを全部結合→整形→ひとつにする この方法もありますがやり方としては、簡易ではないです。 ...
三太郎's user avatar
0
0 回答
147 閲覧数

Pyhonでスクレイピングした結果が表示されない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。 from ...
user43905's user avatar
1
1 回答
408 閲覧数

Pythonでスクレイピングした結果の出力がされない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。 本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。 (...
user43905's user avatar
0
0 回答
372 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
よもぎ's user avatar
1
1 回答
382 閲覧数

WEBスクレイピングができない

PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。 コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか? !pip install geocoder import requests import pandas as pd from bs4 ...
Yamazaki Ken's user avatar
0
1 回答
95 閲覧数

Rvestを用いた複数のページからのtableデータの取り出し

Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。 一日だけのデータならば、以下のコードで成功しました。 html <- read_html() data <-html %>% html_table(fill=TRUE) しかし、一ヶ月分のデータを得るために以下のコード for (i in 1:31) を用いた場合、...
samurai's user avatar
0
1 回答
244 閲覧数

ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい

Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、 /tmp/.com.google.Chrome.XXXXX/internal.zip (xxxxxはランダム文字列で起動のたびに異なる) のようなファイルが作成されます。 このファイルが作成されるパスを特定のディレクトリに変更したいです。 変更したい背景 上記ファイルがウィルススキャンソフト(...
shake21's user avatar
0
1 回答
330 閲覧数

Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。

スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。 実際の画面: Pythonの画面:
Maho's user avatar
  • 1
0
1 回答
4,540 閲覧数

PythonのSeleniumを用いたhref="javascript:void(0)"のスクレイピング

http://bit.sikkou.jp/app/past/pt003/h01/ 上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。 GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。 該当場所のリンクがhref="javascript:void(0)"となっており、...
T S's user avatar
  • 25
0
0 回答
514 閲覧数

GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法

GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。 <?php if( !post_password_required( $post->ID ) ) : ?> //下記のブロック要素をスクレイプしたい <div class="hg1"> </div&...
user41494's user avatar
-1
2 回答
1,645 閲覧数

Pythonのスクレイピングでデータが取得できない

Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。 スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。 ウェブページは以下のものです。 https://nintei.nurse.or.jp/certification/General/(X(1)S(...
Akira Onozuka's user avatar
0
1 回答
1,825 閲覧数

seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい

検証したこと headlessモードの部分をコメントアウトして実行 ⇒メアドやパスワードを入力してclickする部分も、問題なく動作する chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証 ⇒問題なく取得できた 以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。 ...
sugato's user avatar
  • 11
0
1 回答
328 閲覧数

webクローラーの仕組みや作り方を知りたい

クローラーを作りたいのですが、何から始めていいかわからず困っています。 下の質問でどれか一つでもいいので教えていただくと嬉しいです。 どうやってwebクローラーは作るのか どのようにwebクローラーは動くのか webクローラーの仕組みを教えてください。 そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
user avatar
0
0 回答
115 閲覧数

chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。

chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。 環境: centos7 chromedriver使用 python3からseleniumを使用しスクレイピング
n_k's user avatar
  • 85
0
0 回答
224 閲覧数

検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)

duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。 node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。 しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした **「虫歯 原因」の検索結果(現状)** 巨大虫歯に挑む - YouTube 虫歯治療 - YouTube ...
Yoshi's user avatar
  • 1
0
1 回答
764 閲覧数

Google 検索の結果をスクレイピングした時に画像が保存されない

https://your-3d.com/deeplearning-create-dataset/ 上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。 コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
yang's user avatar
  • 17
0
1 回答
325 閲覧数

Python スクレイピング テーブル取得不可

URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、 google colab取得ができません。どのように改善したらいいでしょうか。 import csv import urllib.request from bs4 import BeautifulSoup import pandas as pd urls = ['https://mxp1.monex.co.jp/mst/...
ぼぼボー's user avatar
0
2 回答
126 閲覧数

Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか

実現したいこと 「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。 公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。 テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。 台詞に関しては、...
halt's user avatar
  • 131
0
1 回答
588 閲覧数

スクレイピング出力で文字化け

スクレイピング結果をcsvに出力したところ、文字化けがおこります。 出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか? 宜しくお願いします。 const {createObjectCsvWriter} = require('csv-writer'); const client = require('cheerio-httpcli'); const ...
ぼぼボー's user avatar
0
3 回答
739 閲覧数

pythonでスクレイピング実行時でのエラーについて。

下記にてpythonのスクレイピングを実行しているのですが、 Traceback (most recent call last): File "link_network.py", line 81, in <module> G = make_network(args.url, urls) File "link_network.py", line 33, in ...
steveeo's user avatar
0
1 回答
548 閲覧数

JSONデータから指定した値を取得するときのエラー

問題 言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。 Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。 エラー 回答コードの以下の箇所を変更して、...
NPP's user avatar
  • 421
0
1 回答
211 閲覧数

Scrapyでコーディングしても"INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)"となりクローリングができない

wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。 具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。 メッセージ一部抜粋 INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) ...
daikichi's user avatar