[web-scraping] タグが付いた質問
100
質問
0
票
1回答
247 件の閲覧数
airbnbスクレイピング 県別データの抽出方法
プログラミングというより、airbnbのサイトの構造に関する質問となります。
Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?
0
票
1回答
479 件の閲覧数
python スクレイピング 営業時間の取得
某有名グルメサイトのスクレイピングをpythonで試みていますが上手くいきません。
TAB LOG
URL毎に
・店名
・電話番号
・住所
・営業時間
を取得する予定です。
当初場所をCSSセレクターで指定していたものの、ページによって位置が若干変わってしまうようです。
おそらく文字列(”営業時間”)を含むタグを探して、その中身を出力?のようなことでできる気がするのですが、...
0
票
1回答
218 件の閲覧数
指定したレイヤーのみを範囲にスクレイピング
スクレイピングを行う範囲を指定したいなと思っています。
私が考えているのは、findなどを用いて部分的にlxmlを切り取ってから、それでまたスープを作るみたいなあやふやなビジョンしか今のところ考えつかずにいます。
<div id="foo">
<a href="*1">
<img src="*1.jpg" class="bar"/>
...
0
票
2回答
227 件の閲覧数
Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい
BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、
srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。
これはHTMLのimgタグにあるsrcsetの影響です。
おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。
以上の点を踏まえて、...
5
票
1回答
117 件の閲覧数
このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')
スクレイピングの勉強で以下のようなコードを書きました。
from requests_html import HTMLSession
base_url = 'https://www.example.com/xxx/yyy'
qs = 'sort=desc&page='
for page_num in range(5):
session = HTMLSession()
...
1
票
2回答
903 件の閲覧数
青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得
現在私は青空文庫というページにあるデータを入力とする機械学習モデルを作ろうと考えています。
そのモデルの入力として青空文庫(https://www.aozora.gr.jp) にある作品のテキストデータとその作品の初版発行年が必要なのですが、これらのデータを抽出する方法がわからず困っています。
青空文庫には様々な作家による小説が保存されていて、ブラウザで直接個別の作品にアクセスできます。
例えば、...
0
票
1回答
204 件の閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
0
票
2回答
135 件の閲覧数
google検索結果に表示される日付のスニペットをcsvに落としたい
Python初心者です。
タイトルの通り、google検索結果に表示される日付のスニペットをcsvに出力したいと考えています。
https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000
上記のサイトのコードをそのままコピーさせていただいたところ、タイトル、リンク等は取得できたのですが、CSSセレクタの見方がよくわからず、...
-1
票
2回答
167 件の閲覧数
スクレイプ結果の出力
以前に回答していただいた点を修正して以下の様なコードを実行したのですが、欲しい出力が何も表示されずにプログラムが終了してしまいます...。何か原因に心あたりのある方がいらっしゃれば回答いただけると助かります。
#https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis....
0
票
1回答
108 件の閲覧数
PhantomJSで収集したデータのcsvへの格納
以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。
が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。
どの様に対応すれば良いでしょうか...?
コード
!pip install selenium
# PhantomJS をダウンロード
!wget https://bitbucket....
0
票
1回答
271 件の閲覧数
Google ColabにおけるPhantomJSの使い方
Google Colabでスクレイピングの練習をしているのですが、以下のコードを動かしても以下のようなエラーが出てしまいます。どのようにPATHを指定すればこの問題は解決するのでしょうか?
コードは https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis.html ...
0
票
1回答
129 件の閲覧数
スプレッドシートでリンクを範囲取得してリンク先を表示させたい
この記事の「6. 記事につけられたタグの取得」がうまくいきません
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
https://qiita.com/ktmg/items/d53440c913e20f8bb34c#6-%E8%A8%98%E4%BA%8B%E3%81%AB%E3%81%A4%E3%81%91%E3%82%89%E3%82%8C%E3%...
0
票
0回答
111 件の閲覧数
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか?
三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。
...
1
票
1回答
310 件の閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
0
票
2回答
103 件の閲覧数
スクレイピングでmecabが動きません
スクレイピングで以下のコードを動かしたいのですが、以下のエラーが出てしまいます。
もしよろしければ、ご教授お願いいたします。
実行時のエラーメッセージ
fetching data... http://www.haiku-data.jp/work_detail.php?cd=9 result: SUCCESS
Traceback (most recent call last):
File "/...
0
票
1回答
144 件の閲覧数
goQueryによるWebスクレイピング
doc, err := goquery.NewDocument("https://translate.google.co.jp/?hl=ja#en/ja/apple")
if err != nil {
fmt.Print("url scarapping failed")
}
fmt.Println(doc.Find("span #result_box").Text())
}
...
0
票
1回答
224 件の閲覧数
pythonのwebスクレイピングについて
こんにちは 最近pythonを学び始めた初心者です、質問をさせていただきます。
ヤフーニュースから記事のタイトルだけを抜き出すコードを描いたのですが、
bs4.FeatureNotFound: Couldn't find a tree builder with the features you
requested: html_parser. Do you need to ...
0
票
2回答
970 件の閲覧数
深層に対するスクレイピングがうまくいかない Python
https://www.nikkei.com/nkd/company/?scode=3911
このページの
現在値(15:00) 410 円
始値 (9:03) 422 円
高値 (9:03) 422 円
安値 (14:05) 399 円
の4つをうまく取得したいのですが、現在値を単体は簡単に取れるのですが2~4が取れません。
いい方法を教えていただきたいです。...
0
票
1回答
3,000 件の閲覧数
XPathで属性名を指定して属性値を取得する方法が知りたい
プログラミング初心者です。PythonでWebスクレイピングをしたいと考えています。
その際、XPathで属性名を指定して属性値を取得したいのですが、やり方がはっきりと
わかりません。
具体的に申しますと、
<a title="1" href="https://hogehoge.co.jp/">
というタグがあったとして、「title」という属性名に対する「1」という属性値を
...
1
票
1回答
274 件の閲覧数
Pythonでのデータ収集環境について、自分の解釈が正しいかどうか
Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。
自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。
①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。
②Anacondaをインストールしておくと、...
0
票
1回答
1,100 件の閲覧数
webページのソースに貼られたリンク先のhtmlファイルを取得する
やりたいことはリンクHP(下のpythonコードのurlと同じです)の背景がグレーの部分のデータをDataframeに格納することです.
背景がグレーの部分はリンク先のページに埋め込まれたhtmlファイルとなっていまして,リンクHPのソースを見ると
html
</TABLE>
<IFRAME src="/html/frm/...
1
票
1回答
544 件の閲覧数
CSSセレクター ”table > tbody > tr” が lxml で動きません
https://eiga.com/theater/13/
のサイトから、映画館の名前と住所を取得したいと思って、参考書を元にこのように書いてみました。
しかし以下のように表示され、住所が表示されません。
{'url': 'https://eiga.com/theater/13/130301/3271/', 'name': ['アップリンク'], 'address': []}
...
1
票
0回答
96 件の閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
0
票
1回答
468 件の閲覧数
webスクレイピング実行時のエラー
下記サイトを参考にwebスクレイピングをはじめて試しています。
http://blog.aidemy.net/entry/2017/12/17/214715
物は試しとAPI_KEYとCUSTOM_SEARCH_ENGINEだけ取得し、画像収集のソースコードをそのまま使用させていただき実行すると下記のエラーが発生しました。
Traceback (most recent call last):
...
3
票
1回答
531 件の閲覧数
python3でjavascript内の変数内にある特定URLを検出
python3を使っています。
あるWEBページをスクレイピングして、javascript内の変数にm3u8のURLがあります。
その変数を抽出したいと思っています。
SeleniumやBeautifulSoupを使えばいいという記事は見つけましたが、どの変数に入っているか不明で、可能であればm3u8の文字列で検索かけれられたらと思っています。
ご存知の方、ご教示お願いします。
[追加]
...
1
票
1回答
1,157 件の閲覧数
Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。
下記のサイトからテーブルデータをPandasでスクレイピングしようとしています。
No tables foundのエラーが出てしまいます。
Google Chromeでの要素の検証ではちゃんとテーブルの要素が表示されているのですが、ページのソースを表示するとテーブルらしいソースが見当たりません。
このテーブルのソースが別のところにあるとは思うのですが、ソースのリンクからはたどり着けませんでした。...
1
票
1回答
1,825 件の閲覧数
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
PythonでWebスクレイピングを試みていますが、NameErrorが出ます。
BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。
【環境】
OS:Win7 32bit
Python:3.6.4
IDE:ATOM
環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...
1
票
1回答
242 件の閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
0
票
2回答
441 件の閲覧数
actions on google での cheerio-httpcliを使ったスクレイピングで、fetchメソッドが動かない
初めて質問させていただきます。
Google Homeで、ある対戦ゲームのキャラクターに対する不利なキャラクターを教えてくれるアプリを作っています。
DialogflowのWebhook(firebase)を通して処理しています。
index.js内の処理内容としては、「<キャラクター名>のカウンター」で音声入力した際に、
こちらの統計サイト(http://jp.op.gg/...
3
票
0回答
298 件の閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
0
票
1回答
942 件の閲覧数
rubyでスクレイピングをしたいが、mechanizeがrequireできない
スクレイピングをしようとして実行すると以下のように表示されます。
調べてもわからず困っています。どなたか解決方法をお願いいたします。
$ ruby scraping_image.rb
/Users/〇〇〇/.rbenv/versions/2.3.1/lib/ruby/2.3.0/rubygems/core_ext/kernel_require.rb:55:in `require': ...
0
票
1回答
329 件の閲覧数
seleniumを使って、見出しからタイトルを全てスクレイピングしたい
C#言語にてseleniumを用いたWebスクレイピングを行ってみているのですが、少し詰まってしまった事があるので質問させていただきます。
例としてlivedoorニュース http://news.livedoor.com/topics/category/main/
にて、上から見出しごとに記事が並んでいます。
これらの記事タイトルを抜き出したいのですが、一番上のものは
Chrome....
1
票
2回答
1,919 件の閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
-1
票
1回答
923 件の閲覧数
Python3とBeautifulsoup4を使ったHTMLのパースについて
<h1>タイトル</h1>
<h2>サブタイトル1<h2>
<ul>
<li>本文</li>
<li>本文</li>
...
</ul>
<h3>サブサブタイトル<h3>
<ul>
<li>本文</li>
<li&...
0
票
2回答
711 件の閲覧数
不特定多数のWebサイトへ対するクローラー頻度について
不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか?
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか?
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか?
注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)...
0
票
1回答
1,362 件の閲覧数
動的にDOMが生成されるサイトのスクレイピングについて
ウェブスクレイピングをしてツイッターのアカウントを収集しているのですが、
あるウェブサイトがどうしてもスクレイピングできなくて、困っています。
以前、ツイフィール(※1)というサイトをウェブスクレイピングしたことがありました。
このウェブサイトをスクレイピングする際は、
http://twpf.jp/search/profile?page=2
のpage=2の部分を3、4、5・・・...
0
票
1回答
67 件の閲覧数
OCaml4.04.0でlambdasoupが動かない
opam でocaml.4.04.0をインストールしてlambda-soupを使おうとしてインストールしました。
$ opam install lambdasoup
しかし、lambdasoupを使うプログラムを書いてコンパイルしようとしてみると、次のようなエラーがでてしまいます。
Warning 58: no cmx file was found in path for module ...
0
票
1回答
1,921 件の閲覧数
selenium でスクレイピングする際 WebDriverException “Can not connect to the Service chromedriver” がおきる
下記のコードをpython3で実行するとエラーが発生します。
seleniumのインストールはpipで行いました。
エラーの「Can not connect to the Service chromedriver」
をどのようにすれば解決するのでしょうか?
ご教授お願いいたします。
[コード]
# coding: utf-8
from selenium import webdriver
...
-1
票
1回答
497 件の閲覧数
pythonスクレイピングにて一部しかcsvに書き込まれない・・?
こんにちは
ご覧いただきましてありがとうございます。
pythonを活用したスクレイピングの件で、質問させていただきます。
■質問内容
web上から競馬の出馬表をスクレイピングしておりますが、一部しかcsvに書き込まれておりません。
スクレイピングを行なった結果、出馬表の表頭部分(馬名・枠番といった列名)しかcsvには書き込まれておらず、
馬の名前や厩舎、...
-1
票
1回答
546 件の閲覧数
スクレイピングで特定のページに直接アクセスした場合にエラーで弾かれてしまう場合の対処方法は?
PythonでJRAのページから馬柱をスクレイピングしようとしています。
>>> url ='http://www.jra.go.jp/JRADB/accessD.html'
>>> fetched_dataframes = pandas.io.html.read_html(url)
>>> fetched_dataframes[0]
...
0
票
1回答
935 件の閲覧数
rvestを用いたスクレイピング
R言語のrvestパッケージを利用して気象庁のページhttp://www.data.jma.go.jp/obd/stats/etrn/view/daily_s1.php?prec_no=44&block_no=47662&year=2016&month=7&day=&view=
からデータをデータフレームに収納したいと考えております。
ですが、...
0
票
1回答
320 件の閲覧数
goutteでcss属性セレクタが使えない場合の対処
こんにちは。
laravel5+goutteを使ってゴリゴリ情報収集するツール的なものを書いているのですが、
一部サイトでは、ページネーションの設定にaタグにclassを使わずにmode="next"などの特殊な属性で指定している物があり、次ページへのURLを取れずに苦戦しています。
取得先のHTML
<div id="pagenation">
<ul>
...
2
票
1回答
2万 件の閲覧数
Python3でwebスクレイピングしたいのですが存在するURLが開けません。
python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
0
票
1回答
995 件の閲覧数
Pythonで検索エンジンから画像スクレイピング
PythonでBing画像検索した画像を自分のPCに保存したいのですが9割以上が空のファイルになってしまいます。
どのように対処したら良いのでしょうか?また、原因は何なのか詳しい方教えて下さいませんか?
よろしくお願いします。
http://o-tomox.hatenablog.com/entry/2013/09/25/191506
のページを参考にアカウントを作ってキーを取得、
http://...
0
票
1回答
242 件の閲覧数
railsのMechanizeでのスクレイピングについて
<table class ="profile">
<tr>
<td class="title">ほげ1</td>
<td class="content"ほげ</td>
</tr>
<tr>
<td class="title">ほげ2</td>
<...
0
票
2回答
800 件の閲覧数
Capybara, poltergeistでTimed out waiting for response toエラーが出る。
http://ja.aliexpress.com/wholesale?catId=0&initiative_id=AS_20151205231131&SearchText=bag+mens
を起点に、商品ページのURLリストを取得し、その数を出力します。
たまに、期待した出力である6が出力されるのですが、
下記のようなエラーが出てしまう時があります。エラー8割、...
0
票
2回答
1,521 件の閲覧数
nokogiriで取得したいオブジェクトをすべて取得できない
下記ページのHTMLには、a[class ^= "history"] オブジェクトが36個あることを確認しています。
http://ja.aliexpress.com/wholesale?catId=0&initiative_id=AS_20151205231131&SearchText=bag+mens
しかし、nokogiriのcssセレクタで、...
4
票
1回答
911 件の閲覧数
scrollToBottomについて
環境
OS:CentOS release 6.6 (Final)
casperjs:1.1.0-beta3
phantomjs:1.9.8
概要
上記環境からスクレイピングを行い、指定したページの全画面をキャプチャしたいと考えております。
現状、指定ページの一部キャプチャは保存できるようになりましたが、そのページはマウスの↓スクロール操作で徐々にリストが表示されるタイプ動的サイトのため、...
1
票
2回答
820 件の閲覧数
goutteを使ったスクレイピング
goutteを使ったスクレイピングについて勉強しています。
例えば、はてなブックマークの「テクノロジー」カテゴリのホットエントリーのリストを取得してみようといろいろ試行錯誤していますがうまくいきません。
例えば、ページ上の「.entry-link」クラスを取得すればエントリーのリンクを取得できます。
$crawler = $client->request('GET', 'http://...
3
票
2回答
1,705 件の閲覧数
rubyのeachを使用したファイルの結合方法について
勉強でruby言語を使用して、webスクレイピングに挑戦しております。
googleから検索を行い、以下の様なCSVファイルを作成するイメージです。
★CSV出力イメージ(※左から「タイトル」,「URL」,「文面」)
google,www.google.co.jp,世界中のあらゆる情報を検索するためのツールを提供しています。
eachを使用して出力ファイルを作成して、
...