[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

26 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
2
1 回答
108 閲覧数

Pythonで大学ランキングのスクレイピング

pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。 https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities selenium BeautifulSoupを用いてコードを書いたのですが、...
nonames's user avatar
  • 21
2
0 回答
328 閲覧数

osmosisでセレクタに該当する要素を逐次確認する方法

RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。 doc = Nokogiri::HTML(open('http://google.com').read) doc.at_css('title') #=> <title>Google</title> ですが、...
ironsand's user avatar
  • 3,507
1
0 回答
924 閲覧数

phpでのseleniumを使ったスクレイピングについて

【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について 上記サイトを参考に以下コードで実行いたしましたが、 PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed. ...
Sh_Tomato's user avatar
1
0 回答
449 閲覧数

slackのcustom絵文字を作った人を取得したい

slackで各custom絵文字を誰が作ったのかをしたいと思っています。 apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。 そこで、https://team.slack.com/customize/emoji をスクレイピングして取得したく思っています。(NameとAddedBy) pythonでどのように処理すれば良いのかご教示ください。 試したこと ...
k2yk's user avatar
  • 11
1
2 回答
2,349 閲覧数

python + selenium + chromeでHTMLを読み込みたい

https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html 上記サイトから稼働状況のテーブルを抜き出したいと考えています。 テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。 import time from ...
tkich's user avatar
  • 11
0
0 回答
12 閲覧数

Streamlit上でrequests-htmlを用いたスクレイピングができない

以下のコードでStreamlit上にrequests-htmlを用いたスクレイピング結果を表示したいのですが、エラーが表示されます。 Python及びスクレイピング等初心者で、どうやらStreamlit上で非同期処理を動かす上での問題であるように思われますが、解決の糸口が見えていない状態です。 最終的には、動的サイトのスクレイピング結果をStreamlit上に表示することを目指しており、...
Daiki's user avatar
  • 1
0
0 回答
122 閲覧数

スクレイピングで為替情報の取得を試みていますが、要素の指定で躓いています。

前提 閲覧頂きありがとうございます。 為替レートの情報を自動で取得したく スクレイピングを試みています。 下記のサイトでCookieの同意をクリックした後、 「Amount you paid」の項目に入力するため要素の取得をしたいのですが、 要素が見つからずエラーとなります。 ■対象ページ https://usa.visa.com/support/consumer/travel-support/...
shin t's user avatar
  • 1
0
1 回答
418 閲覧数

スクレイピングの文字化けを直したい

https://live23.5ch.net/test/read.cgi/livetbs/1220170942/ このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。 res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/") soup = ...
user49026's user avatar
0
1 回答
58 閲覧数

start_urlsを都度変更したい

scrapyにおいてstart_urlを毎回変更したいです。 概略として、ネット英語辞書であるweblioを使用して英単語を入力したときに scrapyを用いて意味を出力するようにしたいです。 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, ...
kuratosu's user avatar
0
0 回答
123 閲覧数

scrapy startprojectでアクセス拒否の時の対処法

scrapy startproject [プロジェクト名] を実行した際に PermissionError: [WinError 5] アクセスが拒否されました。 と表示されます。 対処法を教えてください。 実行環境はwindows11 anacondaです。
kuratosu's user avatar
0
0 回答
72 閲覧数

Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい

やりたい・やりたかったこと スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?) BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい 今回は技術的詳細に関する質問というよりは、上記のような、...
K_MM's user avatar
  • 25
0
0 回答
147 閲覧数

Pyhonでスクレイピングした結果が表示されない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。 from ...
user43905's user avatar
0
0 回答
373 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
よもぎ's user avatar
0
1 回答
95 閲覧数

Rvestを用いた複数のページからのtableデータの取り出し

Rでwebページからサッカーのtableデータを取り出し、csvファイルに出力したいと考えています。 一日だけのデータならば、以下のコードで成功しました。 html <- read_html() data <-html %>% html_table(fill=TRUE) しかし、一ヶ月分のデータを得るために以下のコード for (i in 1:31) を用いた場合、...
samurai's user avatar
0
1 回答
246 閲覧数

ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい

Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、 /tmp/.com.google.Chrome.XXXXX/internal.zip (xxxxxはランダム文字列で起動のたびに異なる) のようなファイルが作成されます。 このファイルが作成されるパスを特定のディレクトリに変更したいです。 変更したい背景 上記ファイルがウィルススキャンソフト(...
shake21's user avatar
0
0 回答
521 閲覧数

GASでwordpressのパスワード保護ページにログインし、スクレイピングする方法

GASでwordpressのパスワード保護ページにログインし、表示される内容をスクレイプしたいのですが、ログインがうまくできません。 <?php if( !post_password_required( $post->ID ) ) : ?> //下記のブロック要素をスクレイプしたい <div class="hg1"> </div&...
user41494's user avatar
0
0 回答
115 閲覧数

chromedriverを使用したスクレイピング時に、headlessモードだとブラウザでpdf表示のスクリーンショットを取得しても取得できません。

chromedriverを使用したスクレイピング時にheadlessモードだと、ブラウザでpdf表示のスクリーンショットを取得しても取得できません。取得できるよい方法がありましたら、お教えいただけると助かります。 環境: centos7 chromedriver使用 python3からseleniumを使用しスクレイピング
n_k's user avatar
  • 85
0
0 回答
224 閲覧数

検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)

duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。 node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。 しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした **「虫歯 原因」の検索結果(現状)** 巨大虫歯に挑む - YouTube 虫歯治療 - YouTube ...
Yoshi's user avatar
  • 1
0
1 回答
74 閲覧数

OTAのWebページからホテル名を取得するXpath

OTAのWebページからホテル名をXpathで取得したいのですが //*[@id="property-critical-root"]/div/div[3]/div[2]/div[2]/div[2]/div[2]/div[1]/h1 の後の記述方法がわからず困っております。 URL https://www.agoda.com/ja-jp/imperial-hotel-osaka/hotel/...
user39452's user avatar
0
0 回答
382 閲覧数

ChromeのWebDriverのダウンロードディレクトリについて

ChromeのWebDriverでスクレイピングをしています。 スクレイピングでダウンロードしたファイルを保存する為に ChromeOptions でdownload.default_directory にディレクトリ名を指定しますが、作成されたディレクトリが以下のようになってしまい、のちのファイルの書き込みを行うメソッドを使った際に権限がない為、エラーになってしてしまいます。...
しょうへい's user avatar
0
1 回答
448 閲覧数

スクレイピング結果をエクセルに出力したい

アメブロのランキングをカテゴリー分けして、順位とタイトルをページが無くなるまでスクレイピングしたいのですが、エクセル出力がうまくいきません。 初心者で色々と間違っているのは自覚してますがご教授ください。 options = Options() options.add_argument('--headless') # ChromeのWebDriverオブジェクトを作成(ヘッドレスモードの場合) #...
永遠の初心者's user avatar
0
1 回答
157 閲覧数

スプレッドシートでリンクを範囲取得してリンク先を表示させたい

この記事の「6. 記事につけられたタグの取得」がうまくいきません SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
pictabis's user avatar
0
0 回答
129 閲覧数

Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。

前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか? 三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。 ...
wataru's user avatar
  • 1,053
0
1 回答
195 閲覧数

goQueryによるWebスクレイピング

doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple") if err != nil { fmt.Print("url scarapping failed") } fmt.Println(doc.Find("span #result_box").Text()) } ...
あああああ's user avatar
-1
0 回答
52 閲覧数

OctperthをつかってのScraypingシュミレーション

大阪市 歯医者 Google口コミになにかコメントのあるクリニックを抜粋したのです。 口コミ抜粋の手順としては Octperthから OctperthのSearch results‗Googleからどのような操作をしていくんでしょうか https://gyazo.com/a3922b8ade3206a6a7921240f91b127d Google Inageから https://gyazo....
Omaruko2016's user avatar
-1
1 回答
765 閲覧数

スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?

PythonでJRAのページから馬柱をスクレイピングしようとしています。 >>> url ='http://www.jra.go.jp/JRADB/accessD.html' >>> fetched_dataframes = pandas.io.html.read_html(url) >>> fetched_dataframes[0] ...
GTO's user avatar
  • 25