[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

絞り込み
並べ替え
タグ付けされた
5
1 回答
128 閲覧数

このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')

スクレイピングの勉強で以下のようなコードを書きました。 from requests_html import HTMLSession base_url = 'https://www.example.com/xxx/yyy' qs = 'sort=desc&page=' for page_num in range(5): session = HTMLSession() ...
glass's user avatar
  • 139
4
1 回答
969 閲覧数

scrollToBottomについて

環境 OS:CentOS release 6.6 (Final) casperjs:1.1.0-beta3 phantomjs:1.9.8 概要 上記環境からスクレイピングを行い、指定したページの全画面をキャプチャしたいと考えております。 現状、指定ページの一部キャプチャは保存できるようになりましたが、そのページはマウスの↓スクロール操作で徐々にリストが表示されるタイプ動的サイトのため、...
 りょう's user avatar
3
2 回答
1,865 閲覧数

rubyのeachを使用したファイルの結合方法について

勉強でruby言語を使用して、webスクレイピングに挑戦しております。 googleから検索を行い、以下の様なCSVファイルを作成するイメージです。 ★CSV出力イメージ(※左から「タイトル」,「URL」,「文面」) google,www.google.co.jp,世界中のあらゆる情報を検索するためのツールを提供しています。 eachを使用して出力ファイルを作成して、 ...
nishi ken's user avatar
3
1 回答
988 閲覧数

python3でjavascript内の変数内にある特定URLを検出

python3を使っています。 あるWEBページをスクレイピングして、javascript内の変数にm3u8のURLがあります。 その変数を抽出したいと思っています。 SeleniumやBeautifulSoupを使えばいいという記事は見つけましたが、どの変数に入っているか不明で、可能であればm3u8の文字列で検索かけれられたらと思っています。 ご存知の方、ご教示お願いします。 [追加] ...
Ubunkun's user avatar
  • 1,743
2
2 回答
174 閲覧数

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

やりたいこと。 csvファイルをつくる コンテンツは、htmlタグ付きのままスクレイピングしたもの。 しかし、余計なクォーテーションがついてしまう。 原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。 csvに書き出すためにどのような型に変換すればいいのでしょうか? for def_el in ...
sapcal000's user avatar
  • 415
2
1 回答
184 閲覧数

とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない

やりたいこと 下記のサイトのランキングをスクレイピングするために, 通信状況を調べjsonファイルからデータを取得しようと考えています。 https://www.spooncast.net/jp/ranking/topfan?date_type=daily 実際のコード 下記のコードを実行しましたがエラーになりました。 import pandas as pd import requests ...
zumo1224's user avatar
  • 113
2
2 回答
132 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
Augusto_Soba's user avatar
2
1 回答
108 閲覧数

Pythonで大学ランキングのスクレイピング

pythonで以下のページをスクレイピングし、大学ランキングのoverall、他要素を抽出しようと思っています。 https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities selenium BeautifulSoupを用いてコードを書いたのですが、...
nonames's user avatar
  • 21
2
0 回答
328 閲覧数

osmosisでセレクタに該当する要素を逐次確認する方法

RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。 doc = Nokogiri::HTML(open('http://google.com').read) doc.at_css('title') #=> <title>Google</title> ですが、...
ironsand's user avatar
  • 3,507
1
3 回答
152 閲覧数

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

個人のウェブサイトなどに広告のバナーが設置されている方法などで収益を稼ぐ方法があると思います。 詳細な料金プランはタイプによって大幅に異なるのでそこは置いておきますが、 広告ページへアクセスされた数で報酬を支払う方式の広告システムは、プログラムによる自動スクレイピング等で「自分の運営するウェブサイトに設置されている広告バナーにアクセス」することで悪質なアクセス回数稼ぎができるのではないでしょうか。 ...
MSAII's user avatar
  • 122
1
1 回答
409 閲覧数

Pythonでスクレイピングした結果の出力がされない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。 本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。 (...
user43905's user avatar
1
2 回答
983 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
初心者です's user avatar
1
3 回答
340 閲覧数

スクレイピングでhref属性値の一部の値を取得したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと 下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です) <a target=&...
taddy's user avatar
  • 73
1
1 回答
382 閲覧数

WEBスクレイピングができない

PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。 コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。 コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか? !pip install geocoder import requests import pandas as pd from bs4 ...
Yamazaki Ken's user avatar
1
1 回答
291 閲覧数

Pythonでのデータ収集環境について、自分の解釈が正しいかどうか

Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。 自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。 ①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。 ②Anacondaをインストールしておくと、...
ssud's user avatar
  • 11
1
1 回答
2万 閲覧数

Python3でwebスクレイピングしたいのですが存在するURLが開けません。

python3でBeautifulSoupを使い、webスクレイピングしたいのですが、 urllib.error.HTTPError: HTTP Error 403: Forbidden と言うエラーが出てしまいます。 これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか? このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
tasutasu's user avatar
  • 185
1
1 回答
236 閲覧数

Yahoo!ニュースの検索窓で検索した時の「もっと見る」ボタン以降のテキスト情報をスクレイピングする

下記の質問とほぼ同じになるのですが、私の力では解決できなかったため同様の質問をさせていただきます。 Webページ上の「もっと見る」ボタン以降のテキスト情報をスクレイピングする Yahoo!ニュースの検索窓にキーワードを入力しテキスト情報をスクレイピングで取得しようとしています。 ページの途中に「もっと見る」ボタンがあり、以降の情報もすべて取得したいのですが、 「もっと見る」...
kobo_jp's user avatar
  • 31
1
2 回答
1,930 閲覧数

JupyterLabで問題なく実行されたコードがGoogle Colabで動かない

やりたいこと 自身が書いたスクレイピングコードをプログラム経験なしの知り合いに環境構築なしで共有するため、 JupyterLabで書いたコードをGoogle Colabで実行しようとしました。 しかし、どうにもGoogle Colabではエラーが出て動きません。 実際のコード JupyterLabでは全く問題ありませんでした。 !pip install selenium !pip install ...
zumo1224's user avatar
  • 113
1
2 回答
5,033 閲覧数

スクレイピングにおけるエラー(TypeError: 'str' object is not callable)が生じましたが具体的な対策がわかりません

前提・実現したいこと pythonでseleniumを用いて,abemaの番組タイトルの取得を行おうとコードを組んでいたところ,TypeError: 'str' object is not callableといったエラーが生じてしまいました。 発生している問題・エラーメッセージ TypeError: 'str' object is not callable 該当のソースコード ...
user45546's user avatar
1
1 回答
690 閲覧数

CSSセレクター ”table > tbody > tr” が lxml で動きません

https://eiga.com/theater/13/ のサイトから、映画館の名前と住所を取得したいと思って、参考書を元にこのように書いてみました。 しかし以下のように表示され、住所が表示されません。 {'url': 'https://eiga.com/theater/13/130301/3271/', 'name': ['アップリンク'], 'address': []} ...
blue_bond's user avatar
1
1 回答
2,942 閲覧数

Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。

下記のサイトからテーブルデータをPandasでスクレイピングしようとしています。 No tables foundのエラーが出てしまいます。 Google Chromeでの要素の検証ではちゃんとテーブルの要素が表示されているのですが、ページのソースを表示するとテーブルらしいソースが見当たりません。 このテーブルのソースが別のところにあるとは思うのですが、ソースのリンクからはたどり着けませんでした。...
Kojiro Ikeda's user avatar
1
1 回答
3,553 閲覧数

BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。

PythonでWebスクレイピングを試みていますが、NameErrorが出ます。 BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。 【環境】 OS:Win7 32bit Python:3.6.4 IDE:ATOM 環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...
yoshi's user avatar
  • 37
1
1 回答
604 閲覧数

年齢認証があるサイトをPythonでスクレイピングしたい

実現したいこと 下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。 そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照) 他に2パターン試しましたが、それもうまくいきませんでした。 ...
gaomu's user avatar
  • 13
1
1 回答
233 閲覧数

画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
taddy's user avatar
  • 73
1
1 回答
198 閲覧数

同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと <a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
taddy's user avatar
  • 73
1
1 回答
1,058 閲覧数

Yahoo検索のスクレイピングで広告だけが取得できない

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。 もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
未来のエンジニア's user avatar
1
1 回答
413 閲覧数

はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。 出来るだけseleniumは使用したくありません。 もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。 問題 ...
wataru's user avatar
  • 1,053
1
1 回答
375 閲覧数

pythonのbf4でスクレイピング中にエラーが出る

Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。 調査結果 一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
wataru's user avatar
  • 1,053
1
2 回答
900 閲覧数

goutteを使ったスクレイピング

goutteを使ったスクレイピングについて勉強しています。 例えば、はてなブックマークの「テクノロジー」カテゴリのホットエントリーのリストを取得してみようといろいろ試行錯誤していますがうまくいきません。 例えば、ページ上の「.entry-link」クラスを取得すればエントリーのリンクを取得できます。 $crawler = $client->request('GET', 'http://...
SiN's user avatar
  • 125
1
0 回答
924 閲覧数

phpでのseleniumを使ったスクレイピングについて

【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について 上記サイトを参考に以下コードで実行いたしましたが、 PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed. ...
Sh_Tomato's user avatar
1
0 回答
449 閲覧数

slackのcustom絵文字を作った人を取得したい

slackで各custom絵文字を誰が作ったのかをしたいと思っています。 apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。 そこで、https://team.slack.com/customize/emoji をスクレイピングして取得したく思っています。(NameとAddedBy) pythonでどのように処理すれば良いのかご教示ください。 試したこと ...
k2yk's user avatar
  • 11
1
2 回答
2,346 閲覧数

python + selenium + chromeでHTMLを読み込みたい

https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html 上記サイトから稼働状況のテーブルを抜き出したいと考えています。 テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。 import time from ...
tkich's user avatar
  • 11
0
2 回答
838 閲覧数

不特定多数のWebサイトへ対するクローラー頻度について

不特定多数のWebサイトへ対してクローラーを実行したいと考えています ・どれぐらいの頻度までなら許容されるでしょうか? ・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか? ・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか? 注意した方が良いこと(あるいは、お作法的なこと)について ・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)...
re9's user avatar
  • 6,330
0
2 回答
402 閲覧数

サイトからスクレイピングでcsvファイルをダウンロードしたい。

1.以下のサイトから11月7日の野菜価格csvファイルのみをダウンロードしたい。 https://www.seisen.maff.go.jp/seisen/bs04b040md001/BS04B040UC020SC001-Evt001.do サイト自体は以下のように誰でもデータをダウンロードできる。 2.以下のエラーが出て、ダウンロードまでに至らない。 上記自己解決 elems = ...
Ichiro Nakajima's user avatar
0
3 回答
257 閲覧数

Pythonでスクレイピング方法について

pythonで以下のページをスクレイピングし、フライト情報を取得したいです。 https://www.fukuoka-airport.jp/flight/?depArv=D&domCode=all&domLocation=all&domNum=&domTime=all&intCode=all&intDepArv=D&intDom=D&...
幸589's user avatar
  • 435
0
1 回答
330 閲覧数

Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。

スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。 実際の画面: Pythonの画面:
Maho's user avatar
  • 1
0
2 回答
126 閲覧数

Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか

実現したいこと 「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。 公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。 テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。 台詞に関しては、...
halt's user avatar
  • 131
0
3 回答
739 閲覧数

pythonでスクレイピング実行時でのエラーについて。

下記にてpythonのスクレイピングを実行しているのですが、 Traceback (most recent call last): File "link_network.py", line 81, in <module> G = make_network(args.url, urls) File "link_network.py", line 33, in ...
steveeo's user avatar
0
1 回答
265 閲覧数

画像をスクレイピングしてまとめて表示させたい

Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。 取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。 (リンク、画像、テキストで1セットで、それを複数回スクレイピングします。) また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。 (コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
Aroma's user avatar
  • 121
0
2 回答
1,764 閲覧数

深層に対するスクレイピングがうまくいかない Python

https://www.nikkei.com/nkd/company/?scode=3911 このページの 現在値(15:00) 410 円 始値 (9:03) 422 円 高値 (9:03) 422 円 安値 (14:05) 399 円 の4つをうまく取得したいのですが、現在値を単体は簡単に取れるのですが2~4が取れません。 いい方法を教えていただきたいです。...
user avatar
0
1 回答
328 閲覧数

webクローラーの仕組みや作り方を知りたい

クローラーを作りたいのですが、何から始めていいかわからず困っています。 下の質問でどれか一つでもいいので教えていただくと嬉しいです。 どうやってwebクローラーは作るのか どのようにwebクローラーは動くのか webクローラーの仕組みを教えてください。 そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
user avatar
0
1 回答
2,925 閲覧数

URLリストからそれぞれのサイトをスクレイピングする方法

サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。 URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。 ・URLを取得するコード import requests, ...
user38077's user avatar
0
1 回答
4,314 閲覧数

BeautifulSoupで要素内の要素を取得したい

PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。 ソースコード <div class="hoge"> <div class="piyo"></div> <...
未来のエンジニア's user avatar
0
1 回答
878 閲覧数

Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい

Pythonでairbnbのサイトをスクレイピングしようとしています。 PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています) おすすめの方法などありましたら教えて頂けると有難いです。
HQMA's user avatar
  • 111
0
1 回答
350 閲覧数

airbnbスクレイピング 県別データの抽出方法

プログラミングというより、airbnbのサイトの構造に関する質問となります。 Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?
HQMA's user avatar
  • 111
0
2 回答
215 閲覧数

google検索結果に表示される日付のスニペットをcsvに落としたい

Python初心者です。 タイトルの通り、google検索結果に表示される日付のスニペットをcsvに出力したいと考えています。 https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000 上記のサイトのコードをそのままコピーさせていただいたところ、タイトル、リンク等は取得できたのですが、CSSセレクタの見方がよくわからず、...
BOUR's user avatar
  • 11
0
1 回答
315 閲覧数

pythonのwebスクレイピングについて

こんにちは 最近pythonを学び始めた初心者です、質問をさせていただきます。 ヤフーニュースから記事のタイトルだけを抜き出すコードを描いたのですが、 bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: html_parser. Do you need to ...
暇人zzz's user avatar
0
1 回答
568 閲覧数

webスクレイピング実行時のエラー

下記サイトを参考にwebスクレイピングをはじめて試しています。 http://blog.aidemy.net/entry/2017/12/17/214715 物は試しとAPI_KEYとCUSTOM_SEARCH_ENGINEだけ取得し、画像収集のソースコードをそのまま使用させていただき実行すると下記のエラーが発生しました。 Traceback (most recent call last): ...
pekepeke's user avatar
0
1 回答
1,614 閲覧数

動的にDOMが生成されるサイトのスクレイピングについて

ウェブスクレイピングをしてツイッターのアカウントを収集しているのですが、 あるウェブサイトがどうしてもスクレイピングできなくて、困っています。 以前、ツイフィール(※1)というサイトをウェブスクレイピングしたことがありました。 このウェブサイトをスクレイピングする際は、 http://twpf.jp/search/profile?page=2 のpage=2の部分を3、4、5・・・...
しょう's user avatar
  • 363
0
1 回答
68 閲覧数

class scrapy.spiders.Spider は何を意味しているのか

【スパイダー — Scrapy 1.7.3 ドキュメント】 python初めて数ヶ月の初学者です。 クローラー・ウェブスクレイピングツールscrapyの公式ドキュメントを読んでいて、以下のような記述がありました。 このclass scrapy.spiders.Spiderという記述は、それぞれ何を表すものなのでしょうか? クラス(オブジェクト)名.メソッド名などであればわかるのですが、...
K_MM's user avatar
  • 25