[web-scraping] タグが付いた質問
125
質問
5
票
1
回答
128
閲覧数
このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')
スクレイピングの勉強で以下のようなコードを書きました。
from requests_html import HTMLSession
base_url = 'https://www.example.com/xxx/yyy'
qs = 'sort=desc&page='
for page_num in range(5):
session = HTMLSession()
...
4
票
1
回答
969
閲覧数
scrollToBottomについて
環境
OS:CentOS release 6.6 (Final)
casperjs:1.1.0-beta3
phantomjs:1.9.8
概要
上記環境からスクレイピングを行い、指定したページの全画面をキャプチャしたいと考えております。
現状、指定ページの一部キャプチャは保存できるようになりましたが、そのページはマウスの↓スクロール操作で徐々にリストが表示されるタイプ動的サイトのため、...
3
票
2
回答
1,865
閲覧数
rubyのeachを使用したファイルの結合方法について
勉強でruby言語を使用して、webスクレイピングに挑戦しております。
googleから検索を行い、以下の様なCSVファイルを作成するイメージです。
★CSV出力イメージ(※左から「タイトル」,「URL」,「文面」)
google,www.google.co.jp,世界中のあらゆる情報を検索するためのツールを提供しています。
eachを使用して出力ファイルを作成して、
...
3
票
1
回答
988
閲覧数
python3でjavascript内の変数内にある特定URLを検出
python3を使っています。
あるWEBページをスクレイピングして、javascript内の変数にm3u8のURLがあります。
その変数を抽出したいと思っています。
SeleniumやBeautifulSoupを使えばいいという記事は見つけましたが、どの変数に入っているか不明で、可能であればm3u8の文字列で検索かけれられたらと思っています。
ご存知の方、ご教示お願いします。
[追加]
...
2
票
2
回答
174
閲覧数
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
やりたいこと。
csvファイルをつくる
コンテンツは、htmlタグ付きのままスクレイピングしたもの。
しかし、余計なクォーテーションがついてしまう。
原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。
csvに書き出すためにどのような型に変換すればいいのでしょうか?
for def_el in ...
2
票
1
回答
184
閲覧数
とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない
やりたいこと
下記のサイトのランキングをスクレイピングするために,
通信状況を調べjsonファイルからデータを取得しようと考えています。
https://www.spooncast.net/jp/ranking/topfan?date_type=daily
実際のコード
下記のコードを実行しましたがエラーになりました。
import pandas as pd
import requests
...
2
票
2
回答
132
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
2
票
1
回答
108
閲覧数
Pythonで大学ランキングのスクレイピング
pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。
https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities
selenium BeautifulSoupを用いてコードを書いたのですが、...
2
票
0
回答
328
閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
1
票
3
回答
152
閲覧数
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。
詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、
広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。
...
1
票
1
回答
409
閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
1
票
2
回答
983
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
1
票
3
回答
340
閲覧数
スクレイピングでhref属性値の一部の値を取得したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です)
<a target=&...
1
票
1
回答
382
閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
1
票
1
回答
291
閲覧数
Pythonでのデータ収集環境について、自分の解釈が正しいかどうか
Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。
自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。
①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。
②Anacondaをインストールしておくと、...
1
票
1
回答
2万
閲覧数
Python3でwebスクレイピングしたいのですが存在するURLが開けません。
python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
1
票
1
回答
236
閲覧数
Yahoo!ニュースの検索窓で検索した時の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
下記の質問とほぼ同じになるのですが、私の力では解決できなかったため同様の質問をさせていただきます。
Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする
Yahoo!ニュースの検索窓にキーワードを入力しテキスト情報をスクレイピングで取得しようとしています。
ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、
「もっと見る」...
1
票
2
回答
1,930
閲覧数
JupyterLabで問題なく実行されたコードがGoogle Colabで動かない
やりたいこと
自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、
JupyterLabで書いたコードをGoogle Colabで実行しようとしました。
しかし、どうにもGoogle Colabではエラーが出て動きません。
実際のコード
JupyterLabでは全く問題ありませんでした。
!pip install selenium
!pip install ...
1
票
2
回答
5,033
閲覧数
スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません
前提・実現したいこと
pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。
発生している問題・エラーメッセージ
TypeError: 'str' object is not callable
該当のソースコード
...
1
票
1
回答
690
閲覧数
CSSセレクター ”table > tbody > tr” が lxml で動きません
https://eiga.com/theater/13/
のサイトから、映画館の名前と住所を取得したいと思って、参考書を元にこのように書いてみました。
しかし以下のように表示され、住所が表示されません。
{'url': 'https://eiga.com/theater/13/130301/3271/', 'name': ['アップリンク'], 'address': []}
...
1
票
1
回答
2,942
閲覧数
Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。
下記のサイトからテーブルデータをPandasでスクレイピングしようとしています。
No tables foundのエラーが出てしまいます。
Google Chromeでの要素の検証ではちゃんとテーブルの要素が表示されているのですが、ページのソースを表示するとテーブルらしいソースが見当たりません。
このテーブルのソースが別のところにあるとは思うのですが、ソースのリンクからはたどり着けませんでした。...
1
票
1
回答
3,553
閲覧数
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
PythonでWebスクレイピングを試みていますが、NameErrorが出ます。
BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。
【環境】
OS:Win7 32bit
Python:3.6.4
IDE:ATOM
環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...
1
票
1
回答
604
閲覧数
年齢認証があるサイトをPythonでスクレイピングしたい
実現したいこと
下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。
そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照)
他に2パターン試しましたが、それもうまくいきませんでした。
...
1
票
1
回答
233
閲覧数
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
1
票
1
回答
198
閲覧数
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
<a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
1
票
1
回答
1,058
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
1
回答
413
閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
1
票
1
回答
375
閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
1
票
2
回答
900
閲覧数
goutteを使ったスクレイピング
goutteを使ったスクレイピングについて勉強しています。
例えば、はてなブックマークの「テクノロジー」カテゴリのホットエントリーのリストを取得してみようといろいろ試行錯誤していますがうまくいきません。
例えば、ページ上の「.entry-link」クラスを取得すればエントリーのリンクを取得できます。
$crawler = $client->request('GET', 'http://...
1
票
0
回答
924
閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
0
回答
449
閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
1
票
2
回答
2,346
閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
2
回答
838
閲覧数
不特定多数のWebサイトへ対するクローラー頻度について
不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか?
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか?
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか?
注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)...
0
票
2
回答
402
閲覧数
サイトからスクレイピングでcsvファイルをダウンロードしたい。
1.以下のサイトから11月7日の野菜価格csvファイルのみをダウンロードしたい。
https://www.seisen.maff.go.jp/seisen/bs04b040md001/BS04B040UC020SC001-Evt001.do
サイト自体は以下のように誰でもデータをダウンロードできる。
2.以下のエラーが出て、ダウンロードまでに至らない。
上記自己解決
elems = ...
0
票
3
回答
257
閲覧数
Pythonでスクレイピング方法について
pythonで以下のページをスクレイピングし、フライト情報を取得したいです。
https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
0
票
1
回答
330
閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
2
回答
126
閲覧数
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、...
0
票
3
回答
739
閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
0
票
1
回答
265
閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
0
票
2
回答
1,764
閲覧数
深層に対するスクレイピングがうまくいかない Python
https://www.nikkei.com/nkd/company/?scode=3911
このページの
現在値(15:00) 410 円
始値 (9:03) 422 円
高値 (9:03) 422 円
安値 (14:05) 399 円
の4つをうまく取得したいのですが、現在値を単体は簡単に取れるのですが2~4が取れません。
いい方法を教えていただきたいです。...
0
票
1
回答
328
閲覧数
webクローラーの仕組みや作り方を知りたい
クローラーを作りたいのですが、何から始めていいかわからず困っています。
下の質問でどれか一つでもいいので教えていただくと嬉しいです。
どうやってwebクローラーは作るのか
どのようにwebクローラーは動くのか
webクローラーの仕組みを教えてください。
そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
0
票
1
回答
2,925
閲覧数
URLリストからそれぞれのサイトをスクレイピングする方法
サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, ...
0
票
1
回答
4,314
閲覧数
BeautifulSoupで要素内の要素を取得したい
PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。
ソースコード
<div class="hoge">
<div class="piyo"></div>
<...
0
票
1
回答
878
閲覧数
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
Pythonでairbnbのサイトをスクレイピングしようとしています。
PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)
おすすめの方法などありましたら教えて頂けると有難いです。
0
票
1
回答
350
閲覧数
airbnbスクレイピング 県別データの抽出方法
プログラミングというより、airbnbのサイトの構造に関する質問となります。
Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?
0
票
2
回答
215
閲覧数
google検索結果に表示される日付のスニペットをcsvに落としたい
Python初心者です。
タイトルの通り、google検索結果に表示される日付のスニペットをcsvに出力したいと考えています。
https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000
上記のサイトのコードをそのままコピーさせていただいたところ、タイトル、リンク等は取得できたのですが、CSSセレクタの見方がよくわからず、...
0
票
1
回答
315
閲覧数
pythonのwebスクレイピングについて
こんにちは 最近pythonを学び始めた初心者です、質問をさせていただきます。
ヤフーニュースから記事のタイトルだけを抜き出すコードを描いたのですが、
bs4.FeatureNotFound: Couldn't find a tree builder with the features you
requested: html_parser. Do you need to ...
0
票
1
回答
568
閲覧数
webスクレイピング実行時のエラー
下記サイトを参考にwebスクレイピングをはじめて試しています。
http://blog.aidemy.net/entry/2017/12/17/214715
物は試しとAPI_KEYとCUSTOM_SEARCH_ENGINEだけ取得し、画像収集のソースコードをそのまま使用させていただき実行すると下記のエラーが発生しました。
Traceback (most recent call last):
...
0
票
1
回答
1,614
閲覧数
動的にDOMが生成されるサイトのスクレイピングについて
ウェブスクレイピングをしてツイッターのアカウントを収集しているのですが、
あるウェブサイトがどうしてもスクレイピングできなくて、困っています。
以前、ツイフィール(※1)というサイトをウェブスクレイピングしたことがありました。
このウェブサイトをスクレイピングする際は、
http://twpf.jp/search/profile?page=2
のpage=2の部分を3、4、5・・・...
0
票
1
回答
68
閲覧数
class scrapy.spiders.Spider は何を意味しているのか
【スパイダー — Scrapy 1.7.3 ドキュメント】
python初めて数ヶ月の初学者です。
クローラー・ウェブスクレイピングツールscrapyの公式ドキュメントを読んでいて、以下のような記述がありました。
このclass scrapy.spiders.Spiderという記述は、それぞれ何を表すものなのでしょうか?
クラス(オブジェクト)名.メソッド名などであればわかるのですが、...