[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

143 件の質問
絞り込み
並べ替え
タグ付けされた
1
3 回答
418 閲覧数

スクレイピングでhref属性値の一部の値を取得したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと 下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です) <a target=&...
0
1 回答
130 閲覧数

取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 エラー内容 スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、 NoMethodError: undefined ...
1
1 回答
229 閲覧数

同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと <a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
1
1 回答
1,144 閲覧数

Yahoo検索のスクレイピングで広告だけが取得できない

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。 もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
1 回答
194 閲覧数

Python スクレイピング環境

PythonでスクレイピングするならJupyter Notebookよりもコマンドプロンプトで書いた方がいいのですか?理由も含めてお願いします。 ※スクレイピングに関する本を何冊か読んだところJupyter notebookでスクレイピングしているものが見当たらなかったため質問させていただきました!
0
2 回答
1,977 閲覧数

Google検索結果のスクレイピングができない。

Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが 下記の疑問点が解決できないのでどなたか教えて下さい。 ①下記エラーを修正する方法を知りたい。 a = str(list[i]).strip('') IndexError: list index out of range ②titleとそのURLを取得する方法を知りたい。 参考にしたサイト https:...
0
1 回答
924 閲覧数

Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい

Pythonでairbnbのサイトをスクレイピングしようとしています。 PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています) おすすめの方法などありましたら教えて頂けると有難いです。
0
1 回答
360 閲覧数

jsoupでのWebサイトの値取得について

NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。 実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。 <div id="js-slideimage-right01" ...
-2
1 回答
297 閲覧数

EmEditorをウェブスクレイピングとして使うことは可能でしょうか?

EmEditorをウェブスクレイピングとして使うことは可能でしょうか? たとえば事例として、EmEditorのリファレンス http://www.emeditor.org/ja/index.html 裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。 リファレンス関連のページを全部結合→整形→ひとつにする この方法もありますがやり方としては、簡易ではないです。 ...
1
1 回答
580 閲覧数

Pythonでスクレイピングした結果の出力がされない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。 本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。 (...
0
0 回答
173 閲覧数

Pyhonでスクレイピングした結果が表示されない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。 from ...
-1
2 回答
1,925 閲覧数

Pythonのスクレイピングでデータが取得できない

Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。 スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。 ウェブページは以下のものです。 https://nintei.nurse.or.jp/certification/General/(X(1)S(...
0
0 回答
422 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
1
1 回答
458 閲覧数

WEBスクレイピングができない

PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。 コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか? !pip install geocoder import requests import pandas as pd from bs4 ...
0
1 回答
114 閲覧数

Rvestを用いた複数のページからのtableデータの取り出し

Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。 一日だけのデータならば、以下のコードで成功しました。 html <- read_html() data <-html %>% html_table(fill=TRUE) しかし、一ヶ月分のデータを得るために以下のコード for (i in 1:31) を用いた場合、...
0
1 回答
301 閲覧数

ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい

Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、 /tmp/.com.google.Chrome.XXXXX/internal.zip (xxxxxはランダム文字列で起動のたびに異なる) のようなファイルが作成されます。 このファイルが作成されるパスを特定のディレクトリに変更したいです。 変更したい背景 上記ファイルがウィルススキャンソフト(...
0
1 回答
402 閲覧数

Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。

スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。 実際の画面: Pythonの画面:
0
1 回答
362 閲覧数

Laravelでのスクレイピング

テスト等ではなく、データ採集を目的とするスクレイピングでは、PHP、Laravelにおいてどのツールが最も適しているのでしょうか。ちなみに実行速度を重視したいです。
0
1 回答
113 閲覧数

WebWorker側のWebSocketの関数をHookする

WebWorker(Dedicated Worker)側のWebsocketのコンストラクタとonmessageをHookする事はできますか? Main thread であればJavaScript ProxyでHookできますが、これをWebWorker側のWebsocketに対して行いたいです。 WebWorkerのwindowはMain ...
-1
1 回答
822 閲覧数

スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?

PythonでJRAのページから馬柱をスクレイピングしようとしています。 >>> url ='http://www.jra.go.jp/JRADB/accessD.html' >>> fetched_dataframes = pandas.io.html.read_html(url) >>> fetched_dataframes[0] ...
1
1 回答
385 閲覧数

pythonのbf4でスクレイピング中にエラーが出る

Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。 調査結果 一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
0
1 回答
289 閲覧数

画像をスクレイピングしてまとめて表示させたい

Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。 取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。 (リンク、画像、テキストで1セットで、それを複数回スクレイピングします。) また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。 (コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
-1
2 回答
203 閲覧数

スクレイプ結果の出力

以前に回答していただいた点を修正して以下の様なコードを実行したのですが、欲しい出力が何も表示されずにプログラムが終了してしまいます...。何か原因に心あたりのある方がいらっしゃれば回答いただけると助かります。 #https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis....
0
1 回答
161 閲覧数

スプレッドシートでリンクを範囲取得してリンク先を表示させたい

この記事の「6. 記事につけられたタグの取得」がうまくいきません SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
0 回答
609 閲覧数

GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法

GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。 <?php if( !post_password_required( $post->ID ) ) : ?> //下記のブロック要素をスクレイプしたい <div class="hg1"> </div&...
0
1 回答
2,057 閲覧数

seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい

検証したこと headlessモードの部分をコメントアウトして実行 ⇒メアドやパスワードを入力してclickする部分も、問題なく動作する chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証 ⇒問題なく取得できた 以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。 ...
0
0 回答
125 閲覧数

chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。

chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。 環境: centos7 chromedriver使用 python3からseleniumを使用しスクレイピング
0
1 回答
816 閲覧数

Google 検索の結果をスクレイピングした時に画像が保存されない

https://your-3d.com/deeplearning-create-dataset/ 上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。 コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
0
1 回答
202 閲覧数

goQueryによるWebスクレイピング

doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple") if err != nil { fmt.Print("url scarapping failed") } fmt.Println(doc.Find("span #result_box").Text()) } ...
0
1 回答
531 閲覧数

docker環境におけるseleniumを使ったスクレイピングについて

現在、docker環境でrailsを使って勉強中です。 seleniumでスクレイピングをして遊んでいます。 ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。 やりたいこと ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。 理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
0
0 回答
323 閲覧数

検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)

duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。 node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。 しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした **「虫歯 原因」の検索結果(現状)** 巨大虫歯に挑む - YouTube 虫歯治療 - YouTube ...
0
1 回答
360 閲覧数

Python スクレイピング テーブル取得不可

URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、 google colab取得ができません。どのように改善したらいいでしょうか。 import csv import urllib.request from bs4 import BeautifulSoup import pandas as pd urls = ['https://mxp1.monex.co.jp/mst/...
0
2 回答
140 閲覧数

Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか

実現したいこと 「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。 公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。 テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。 台詞に関しては、...
0
1 回答
711 閲覧数

スクレイピング出力で文字化け

スクレイピング結果をcsvに出力したところ、文字化けがおこります。 出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか? 宜しくお願いします。 const {createObjectCsvWriter} = require('csv-writer'); const client = require('cheerio-httpcli'); const ...
0
1 回答
664 閲覧数

JSONデータから指定した値を取得するときのエラー

問題 言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。 Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。 エラー 回答コードの以下の箇所を変更して、...
0
1 回答
265 閲覧数

Scrapyでコーディングしても"INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)"となりクローリングができない

wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。 具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。 メッセージ一部抜粋 INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) ...
0
1 回答
76 閲覧数

OTAのWebページからホテル名を取得するXpath

OTAのWebページからホテル名をXpathで取得したいのですが //*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1 の後の記述方法がわからず困っております。 URL https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
0
1 回答
5,472 閲覧数

BeautifulSoupで要素内の要素を取得したい

PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。 ソースコード <div class="hoge"> <div class="piyo"></div> <...
0
0 回答
436 閲覧数

ChromeのWebDriverのダウンロードディレクトリについて

ChromeのWebDriverでスクレイピングをしています。 スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
0
1 回答
5,605 閲覧数

BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい

from bs4 import BeautifulSoup r = requests.get("********************") soup = BeautifulSoup(r.content, "html.parser") class = soup.find_all("div", class_ = "word") このままだと、...
0
1 回答
1,701 閲覧数

PythonのSeleniumで表示されているのにnot visibleな要素がクリックできない

このページの勤務地ボタンを押すとモーダルが表示されます。 モーダルの左メニューの地方をクリックするところまでは行けるのですが、例えば関西をクリック→大阪をクリックとしたい場合、大阪のチェックボックス(input要素)がnot visibleのためクリックできません。 当初はXpathでinput要素を取得していましたが、コードの方針を少し変えて、すべてのインプット要素をまず取得し、...
0
1 回答
417 閲覧数

airbnbスクレイピング 県別データの抽出方法

プログラミングというより、airbnbのサイトの構造に関する質問となります。 Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?
0
2 回答
616 閲覧数

Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい

BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、 srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。 これはHTMLのimgタグにあるsrcsetの影響です。 おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。 以上の点を踏まえて、...
0
2 回答
239 閲覧数

google検索結果に表示される日付のスニペットをcsvに落としたい

Python初心者です。 タイトルの通り、google検索結果に表示される日付のスニペットをcsvに出力したいと考えています。 https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000 上記のサイトのコードをそのままコピーさせていただいたところ、タイトル、リンク等は取得できたのですが、CSSセレクタの見方がよくわからず、...
0
1 回答
458 閲覧数

Google ColabにおけるPhantomJSの使い方

Google Colabでスクレイピングの練習をしているのですが、以下のコードを動かしても以下のようなエラーが出てしまいます。どのようにPATHを指定すればこの問題は解決するのでしょうか? コードは https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis.html ...
0
0 回答
131 閲覧数

Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。

前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか? 三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。 ...
1
1 回答
438 閲覧数

はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。 出来るだけseleniumは使用したくありません。 もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。 問題 ...
0
2 回答
198 閲覧数

スクレイピングでmecabが動きません

スクレイピングで以下のコードを動かしたいのですが、以下のエラーが出てしまいます。 もしよろしければ、ご教授お願いいたします。 実行時のエラーメッセージ fetching data... http://www.haiku-data.jp/work_detail.php?cd=9 result: SUCCESS Traceback (most recent call last): File "/...
0
1 回答
9,997 閲覧数

XPathで属性名を指定して属性値を取得する方法が知りたい

プログラミング初心者です。PythonでWebスクレイピングをしたいと考えています。 その際、XPathで属性名を指定して属性値を取得したいのですが、やり方がはっきりと わかりません。 具体的に申しますと、 <a title="1" href="https://hogehoge.co.jp/"> というタグがあったとして、「title」という属性名に対する「1」という属性値を ...
0
2 回答
488 閲覧数

actions on google での cheerio-httpcliを使ったスクレイピングで、fetchメソッドが動かない

初めて質問させていただきます。 Google Homeで、ある対戦ゲームのキャラクターに対する不利なキャラクターを教えてくれるアプリを作っています。 DialogflowのWebhook(firebase)を通して処理しています。 index.js内の処理内容としては、「<キャラクター名>のカウンター」で音声入力した際に、 こちらの統計サイト(http://jp.op.gg/...