[web-scraping] タグが付いた質問
117
質問
0
票
3
回答
177
閲覧数
Pythonでスクレイピング方法について
pythonで以下のページをスクレイピングし、フライト情報を取得したいです。
https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
0
票
1
回答
132
閲覧数
特定の箇所WEBスクレイピングができない
PythonでWEBページをスクレイピングしたいです。
サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。
Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。
HTML
<div class="...
0
票
0
回答
36
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
70
閲覧数
python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?
ある作業で自動的に生成されるindex.htmlと付随するデータがあります。
index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。
このhtmlをbeautifulsoupを使ってローカルindex....
0
票
0
回答
27
閲覧数
splash:mouse_clickでリンクをクリックしてもpop upが開かない
Scrapyでtownworkのバイト情報をスクレイピングしようと考えています。
勤務先住所を取るために地図のpopup画面を開きたく、Splashを使い始めました。
そこで、地図の部分のリンクをsplash:mouse_clickしたのですが、地図のpopupが開かず困っています。
他のリンクはclickすると画面遷移します。
地図のpopupの開き方をご教授頂けると幸いです。
対象のページは、
...
1
票
3
回答
146
閲覧数
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。
詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、
広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。
...
1
票
2
回答
492
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
2
票
1
回答
98
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
1
票
1
回答
336
閲覧数
年齢認証があるサイトをPythonでスクレイピングしたい
実現したいこと
下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。
そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)
他に2パターン試しましたが、それもうまくいきませんでした。
...
2
票
1
回答
116
閲覧数
とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない
やりたいこと
下記のサイトのランキングをスクレイピングするために,
通信状況を調べjsonファイルからデータを取得しようと考えています。
https://www.spooncast.net/jp/ranking/topfan?date_type=daily
実際のコード
下記のコードを実行しましたがエラーになりました。
import pandas as pd
import requests
...
0
票
0
回答
121
閲覧数
Pythonでスクレイピング データを取得してCSVの該当箇所に書き込みたい
前提・実現したいこと
Pythonでスクレイピング データを取得してCSVに書き込みたいです。
セレニウムとPandasを利用しています。
Python3ヶ月目ほどで 本を読んだり検索したりしながら進めている状態です。
注文番号がはいったCSVファイルがあります。
この注文番号をURLに含めると 注文データの記載されたページにアクセスできるので、
そこから情報を取得して ...
1
票
1
回答
196
閲覧数
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
1
票
2
回答
819
閲覧数
JupyterLabで問題なく実行されたコードがGoogle Colabで動かない
やりたいこと
自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、
JupyterLabで書いたコードをGoogle Colabで実行しようとしました。
しかし、どうにもGoogle Colabではエラーが出て動きません。
実際のコード
JupyterLabでは全く問題ありませんでした。
!pip install selenium
!pip install ...
1
票
2
回答
2,598
閲覧数
スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません
前提・実現したいこと
pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。
発生している問題・エラーメッセージ
TypeError: 'str' object is not callable
該当のソースコード
...
1
票
3
回答
253
閲覧数
スクレイピングでhref属性値の一部の値を取得したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です)
<a target=&...
0
票
1
回答
855
閲覧数
"NameError: name 'url' is not defined" の解決方法を教えてください
Windows10, ANACONDA.NAVIGATOR から JupyterLab 3.0.14 を起動して、
"【Selenium】スクレイピング対策を突破する方法" サイトを参照して、コードをコピーペーストして実行した所、エラーが表示されました。
エラーを検索して解決を試みましたが、自身のスキル不足で解決できません。
ご教授お願いします。
エラーメッセージ:
...
0
票
1
回答
92
閲覧数
取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
エラー内容
スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、
NoMethodError: undefined ...
1
票
1
回答
116
閲覧数
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
<a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
0
票
1
回答
167
閲覧数
Python スクレイピング環境
PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。
※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
0
票
1
回答
158
閲覧数
jsoupでのWebサイトの値取得について
NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。
実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。
<div id="js-slideimage-right01" ...
-2
票
1
回答
281
閲覧数
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
たとえば事例として、EmEditorのリファレンス
http://www.emeditor.org/ja/index.html
裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。
リファレンス関連のページを全部結合→整形→ひとつにする
この方法もありますがやり方としては、簡易ではないです。
...
0
票
0
回答
131
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
1
票
1
回答
198
閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
0
票
0
回答
284
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
1
票
1
回答
324
閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
0
票
1
回答
47
閲覧数
Rvestを用いた複数のページからのtableデータの取り出し
Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。
一日だけのデータならば、以下のコードで成功しました。
html <- read_html()
data <-html %>%
html_table(fill=TRUE)
しかし、一ヶ月分のデータを得るために以下のコード
for (i in 1:31)
を用いた場合、...
0
票
1
回答
141
閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
0
票
1
回答
260
閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
1
回答
3,201
閲覧数
PythonのSeleniumを用いたhref="javascript:void(0)"のスクレイピング
http://bit.sikkou.jp/app/past/pt003/h01/
上記サイトの各地方・各裁判所・全物件の全データを並べたcsvファイルを作成したいと考えています。
GoogleChromeで各地方のリンクをSeleniumから要素を取得、クリック、ページ遷移ができません。
該当場所のリンクがhref="javascript:void(0)"となっており、...
0
票
0
回答
434
閲覧数
GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法
GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。
<?php if( !post_password_required( $post->ID ) ) : ?>
//下記のブロック要素をスクレイプしたい
<div class="hg1">
</div&...
-1
票
2
回答
1,209
閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
票
1
回答
1,286
閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
0
回答
100
閲覧数
chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。
chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。
環境:
centos7
chromedriver使用
python3からseleniumを使用しスクレイピング
0
票
0
回答
171
閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
0
票
1
回答
711
閲覧数
Google 検索の結果をスクレイピングした時に画像が保存されない
https://your-3d.com/deeplearning-create-dataset/
上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。
コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
0
票
1
回答
242
閲覧数
Python スクレイピング テーブル取得不可
URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/...
0
票
2
回答
118
閲覧数
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、...
0
票
1
回答
478
閲覧数
スクレイピング出力で文字化け
スクレイピング結果をcsvに出力したところ、文字化けがおこります。
出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか?
宜しくお願いします。
const {createObjectCsvWriter} = require('csv-writer');
const client = require('cheerio-httpcli');
const ...
0
票
3
回答
520
閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
0
票
1
回答
339
閲覧数
JSONデータから指定した値を取得するときのエラー
問題
言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。
エラー
回答コードの以下の箇所を変更して、...
0
票
1
回答
153
閲覧数
Scrapyでコーディングしても"INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)"となりクローリングができない
wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。
具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。
メッセージ一部抜粋
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
...
0
票
1
回答
72
閲覧数
OTAのWebページからホテル名を取得するXpath
OTAのWebページからホテル名をXpathで取得したいのですが
//*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1
の後の記述方法がわからず困っております。
URL
https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
0
票
1
回答
66
閲覧数
WebWorker側のWebSocketの関数をHookする
WebWorker(Dedicated Worker)側のWebsocketのコンストラクタとonmessageをHookする事はできますか?
Main thread であればJavaScript ProxyでHookできますが、これをWebWorker側のWebsocketに対して行いたいです。
WebWorkerのwindowはMain ...
0
票
1
回答
2,165
閲覧数
URLリストからそれぞれのサイトをスクレイピングする方法
サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, ...
2
票
2
回答
127
閲覧数
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
やりたいこと。
csvファイルをつくる
コンテンツは、htmlタグ付きのままスクレイピングしたもの。
しかし、余計なクォーテーションがついてしまう。
原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。
csvに書き出すためにどのような型に変換すればいいのでしょうか?
for def_el in ...
0
票
1
回答
2,510
閲覧数
BeautifulSoupで要素内の要素を取得したい
PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。
ソースコード
<div class="hoge">
<div class="piyo"></div>
<...
1
票
1
回答
873
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
票
1
回答
121
閲覧数
webの要素をスクレイプする際のfindallの使い方
下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。
div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。
■理想とする出力
URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''...
0
票
1
回答
398
閲覧数
スクレイピング結果の複数行表示を1行表示にする方法
Pythonにてスクレイピングをしたいのですが、ファイル書き込みにおいて以下困っております。
■目的
・webページ(複数)テーブルタグ内のtd要素をcsvファイルとして書き込みしたい。
■困っていること
webページからtd要素を抜き出して以下のようにファイルを作成したいのですが、
1行目(URL1):要素1,要素2,要素3,,,,
2行目(URL2):要素1',要素2',要素3',,,,
...
1
票
1
回答
2,476
閲覧数
colabで作成したフォルダをダウンロードしたい
google colab上でスクレイピングを行い、画像を収集したフォルダをローカルpcにダウンロードしたいです。ファイル一つ一つのダウンロードはfiles.download()でできるのですが、まとめてフォルダごとダウンロードする方法が分かりませんので教えていただきたいです