[web-scraping] タグが付いた質問
102
質問
5
票
1回答
118 件の閲覧数
このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')
スクレイピングの勉強で以下のようなコードを書きました。
from requests_html import HTMLSession
base_url = 'https://www.example.com/xxx/yyy'
qs = 'sort=desc&page='
for page_num in range(5):
session = HTMLSession()
...
4
票
1回答
918 件の閲覧数
scrollToBottomについて
環境
OS:CentOS release 6.6 (Final)
casperjs:1.1.0-beta3
phantomjs:1.9.8
概要
上記環境からスクレイピングを行い、指定したページの全画面をキャプチャしたいと考えております。
現状、指定ページの一部キャプチャは保存できるようになりましたが、そのページはマウスの↓スクロール操作で徐々にリストが表示されるタイプ動的サイトのため、...
3
票
2回答
1,713 件の閲覧数
rubyのeachを使用したファイルの結合方法について
勉強でruby言語を使用して、webスクレイピングに挑戦しております。
googleから検索を行い、以下の様なCSVファイルを作成するイメージです。
★CSV出力イメージ(※左から「タイトル」,「URL」,「文面」)
google,www.google.co.jp,世界中のあらゆる情報を検索するためのツールを提供しています。
eachを使用して出力ファイルを作成して、
...
3
票
1回答
554 件の閲覧数
python3でjavascript内の変数内にある特定URLを検出
python3を使っています。
あるWEBページをスクレイピングして、javascript内の変数にm3u8のURLがあります。
その変数を抽出したいと思っています。
SeleniumやBeautifulSoupを使えばいいという記事は見つけましたが、どの変数に入っているか不明で、可能であればm3u8の文字列で検索かけれられたらと思っています。
ご存知の方、ご教示お願いします。
[追加]
...
3
票
0回答
301 件の閲覧数
osmosisでセレクタに該当する要素を逐次確認する方法
RubyのNokogiriでスクレイピングを書くときにはpryなどで以下のようにすぐにセレクタで選択した要素が何かを確認しながらしていました。
doc = Nokogiri::HTML(open('http://google.com').read)
doc.at_css('title')
#=> <title>Google</title>
ですが、...
2
票
2回答
115 件の閲覧数
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
やりたいこと。
csvファイルをつくる
コンテンツは、htmlタグ付きのままスクレイピングしたもの。
しかし、余計なクォーテーションがついてしまう。
原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。
csvに書き出すためにどのような型に変換すればいいのでしょうか?
for def_el in ...
2
票
1回答
2万 件の閲覧数
Python3でwebスクレイピングしたいのですが存在するURLが開けません。
python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
2
票
2回答
1,032 件の閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
1
票
1回答
83 件の閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
1
票
1回答
274 件の閲覧数
Pythonでのデータ収集環境について、自分の解釈が正しいかどうか
Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。
自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。
①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。
②Anacondaをインストールしておくと、...
1
票
1回答
187 件の閲覧数
WEBスクレイピングができない
PythonでWEBページをスクレイピングし、あるサイトから店名と住所情報を取得したいと考えています。
コラボラトリー環境で以下のコードを試してみたのですが、情報を取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか?
!pip install geocoder
import requests
import pandas as pd
from bs4 ...
1
票
1回答
578 件の閲覧数
BeautifulSoupで要素内の要素を取得したい
PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。
ソースコード
<div class="hoge">
<div class="piyo"></div>
<...
1
票
1回答
552 件の閲覧数
CSSセレクター ”table > tbody > tr” が lxml で動きません
https://eiga.com/theater/13/
のサイトから、映画館の名前と住所を取得したいと思って、参考書を元にこのように書いてみました。
しかし以下のように表示され、住所が表示されません。
{'url': 'https://eiga.com/theater/13/130301/3271/', 'name': ['アップリンク'], 'address': []}
...
1
票
1回答
1,283 件の閲覧数
Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。
下記のサイトからテーブルデータをPandasでスクレイピングしようとしています。
No tables foundのエラーが出てしまいます。
Google Chromeでの要素の検証ではちゃんとテーブルの要素が表示されているのですが、ページのソースを表示するとテーブルらしいソースが見当たりません。
このテーブルのソースが別のところにあるとは思うのですが、ソースのリンクからはたどり着けませんでした。...
1
票
1回答
1,947 件の閲覧数
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
PythonでWebスクレイピングを試みていますが、NameErrorが出ます。
BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。
【環境】
OS:Win7 32bit
Python:3.6.4
IDE:ATOM
環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...
1
票
1回答
51 件の閲覧数
ChromeDriverでのスクレイピング時に作成される/tmp/.com.google.Chrome.XXXXX/internal.zipのパスを固定したい
Linux(RedHat)上のSelenium+ChromeDriverでスクレイピングしていますが、
/tmp/.com.google.Chrome.XXXXX/internal.zip
(xxxxxはランダム文字列で起動のたびに異なる)
のようなファイルが作成されます。
このファイルが作成されるパスを特定のディレクトリに変更したいです。
変更したい背景
上記ファイルがウィルススキャンソフト(...
1
票
1回答
85 件の閲覧数
Scrapyでコーディングしても“INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)”となりクローリングができない
wikipediaのサイトをscrapyでスクレイピングしたところ、うまくwebをクローリングしてくれません。
具体的には下記のメッセージが表示されているので情報をうまく取れていないと思います。
メッセージ一部抜粋
INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
...
1
票
1回答
525 件の閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
1回答
314 件の閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
1
票
1回答
257 件の閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
1
票
2回答
822 件の閲覧数
goutteを使ったスクレイピング
goutteを使ったスクレイピングについて勉強しています。
例えば、はてなブックマークの「テクノロジー」カテゴリのホットエントリーのリストを取得してみようといろいろ試行錯誤していますがうまくいきません。
例えば、ページ上の「.entry-link」クラスを取得すればエントリーのリンクを取得できます。
$crawler = $client->request('GET', 'http://...
1
票
2回答
496 件の閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
1
票
0回答
96 件の閲覧数
検索エンジンduckduckGoの検索結果でロケーションを日本にしてスクレイピングしたい(node.js)
duckduckGoの検索結果をロケーションを日本にした場合で取得できるようになりたいです。
node.jsのcheerio-httpcliを使ってduckduckGoの検索結果をスクレイピングしました。
しかし帰ってくる結果はロケーションを日本にした場合と異なる結果でした
**「虫歯 原因」の検索結果(現状)**
巨大虫歯に挑む - YouTube
虫歯治療 - YouTube
...
1
票
1回答
133 件の閲覧数
Python スクレイピング テーブル取得不可
URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/...
1
票
3回答
229 件の閲覧数
pythonでスクレイピング実行時でのエラーについて。
下記にてpythonのスクレイピングを実行しているのですが、
Traceback (most recent call last):
File "link_network.py", line 81, in <module>
G = make_network(args.url, urls)
File "link_network.py", line 33, in ...
1
票
0回答
115 件の閲覧数
Selenium + BeautifulSoup でのWebスクレイピングについて
現在スクレイピングでOKWAVEの質問をCSVに落とし込むコードを書いています。
全体像としては「検索語」を指定して出てきたページの質問1-10件目のページを開いてスクレイピング、すべてのページを閉じる、次のページで11-20件目の質問ページを開く、を10ページまで繰り返すというプログラムにしようかと思っています。
現在Seleniumでウェブを開き語句を検索、ページを出した所で1-...
1
票
1回答
86 件の閲覧数
webの要素をスクレイプする際のfindallの使い方
下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。
div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。
■理想とする出力
URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''...
1
票
0回答
600 件の閲覧数
phpでのseleniumを使ったスクレイピングについて
【Webブラウザの自動操作を使って、単純作業を効率化】Seleniumの実装方法について
上記サイトを参考に以下コードで実行いたしましたが、
PHP Fatal error: Uncaught Facebook\WebDriver\Exception\WebDriverException: JSON decoding of remote response failed.
...
1
票
2回答
939 件の閲覧数
青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得
現在私は青空文庫というページにあるデータを入力とする機械学習モデルを作ろうと考えています。
そのモデルの入力として青空文庫(https://www.aozora.gr.jp) にある作品のテキストデータとその作品の初版発行年が必要なのですが、これらのデータを抽出する方法がわからず困っています。
青空文庫には様々な作家による小説が保存されていて、ブラウザで直接個別の作品にアクセスできます。
例えば、...
1
票
0回答
103 件の閲覧数
slackのcustom絵文字を作った人を取得したい
slackで各custom絵文字を誰が作ったのかをしたいと思っています。
apiではemojiのリストを取得することができますが、誰が作ったのかを取得できません。
そこで、https://team.slack.com/customize/emoji
をスクレイピングして取得したく思っています。(NameとAddedBy)
pythonでどのように処理すれば良いのかご教示ください。
試したこと
...
1
票
2回答
1,969 件の閲覧数
python + selenium + chromeでHTMLを読み込みたい
https://www.coin-laundry.co.jp/userp/shop_detail/10000543.html
上記サイトから稼働状況のテーブルを抜き出したいと考えています。
テーブル部分がjavascriptで生成されているようなので、headlessブラウザ(Chrome)をseleniumから操作して取得しようとコードを書いてみました。
import time
from ...
0
票
2回答
720 件の閲覧数
不特定多数のWebサイトへ対するクローラー頻度について
不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか?
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか?
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか?
注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)...
0
票
1回答
141 件の閲覧数
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
スクレイピングで、1枚目の画像にある「オラフの生まれた日」という1文を引っ張ってきたくて、2枚目の画像のように書いたのですが、属性名にハイフンが入っているからかエラーが出てきてしまいます。この、ハイフン入りの属性ごと消して試すと、Nonetype object has no attribute 'find' と出てきてしまい、修正方法がわかりません。
実際の画面:
Pythonの画面:
0
票
2回答
86 件の閲覧数
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
実現したいこと
「プロジェクト・グーテンベルク」という著作権の切れた小説が公開されているサイトのテキストを自然言語処理のために、スクレイピングしようとしています。
公開されている形式は、Plain Text UTF-8とhtmlがありますが、プレインテキストでの収集を考えています。
テキストファイルとして出力するのではなく、json形式で情景描写と台詞を分けて取得したいです。
台詞に関しては、...
0
票
1回答
205 件の閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
0
票
2回答
1,031 件の閲覧数
深層に対するスクレイピングがうまくいかない Python
https://www.nikkei.com/nkd/company/?scode=3911
このページの
現在値(15:00) 410 円
始値 (9:03) 422 円
高値 (9:03) 422 円
安値 (14:05) 399 円
の4つをうまく取得したいのですが、現在値を単体は簡単に取れるのですが2~4が取れません。
いい方法を教えていただきたいです。...
0
票
1回答
251 件の閲覧数
airbnbスクレイピング 県別データの抽出方法
プログラミングというより、airbnbのサイトの構造に関する質問となります。
Pythonでairbnbのスクレイピングをしているのですが、県別のリスティングIDを抽出したいと考えています。どのような方法で、県内の全てのリスティングIDをスクレイピングすることができるでしょうか?
0
票
2回答
139 件の閲覧数
google検索結果に表示される日付のスニペットをcsvに落としたい
Python初心者です。
タイトルの通り、google検索結果に表示される日付のスニペットをcsvに出力したいと考えています。
https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000
上記のサイトのコードをそのままコピーさせていただいたところ、タイトル、リンク等は取得できたのですが、CSSセレクタの見方がよくわからず、...
0
票
1回答
228 件の閲覧数
pythonのwebスクレイピングについて
こんにちは 最近pythonを学び始めた初心者です、質問をさせていただきます。
ヤフーニュースから記事のタイトルだけを抜き出すコードを描いたのですが、
bs4.FeatureNotFound: Couldn't find a tree builder with the features you
requested: html_parser. Do you need to ...
0
票
1回答
471 件の閲覧数
webスクレイピング実行時のエラー
下記サイトを参考にwebスクレイピングをはじめて試しています。
http://blog.aidemy.net/entry/2017/12/17/214715
物は試しとAPI_KEYとCUSTOM_SEARCH_ENGINEだけ取得し、画像収集のソースコードをそのまま使用させていただき実行すると下記のエラーが発生しました。
Traceback (most recent call last):
...
0
票
1回答
1,381 件の閲覧数
動的にDOMが生成されるサイトのスクレイピングについて
ウェブスクレイピングをしてツイッターのアカウントを収集しているのですが、
あるウェブサイトがどうしてもスクレイピングできなくて、困っています。
以前、ツイフィール(※1)というサイトをウェブスクレイピングしたことがありました。
このウェブサイトをスクレイピングする際は、
http://twpf.jp/search/profile?page=2
のpage=2の部分を3、4、5・・・...
0
票
1回答
362 件の閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
1回答
501 件の閲覧数
Google 検索の結果をスクレイピングした時に画像が保存されない
https://your-3d.com/deeplearning-create-dataset/
上記サイトで紹介されている「APIを叩かずにGoogleから画像収集する」コードを引用しています。デスクトップに image フォルダを作り、その中の image.py で作業を行なっています。
コード自体にエラーは起こりませんが、ターミナルにて実行すると以下のような結果になり、image ...
0
票
1回答
219 件の閲覧数
スクレイピング出力で文字化け
スクレイピング結果をcsvに出力したところ、文字化けがおこります。
出力時に文字化けを起こさないようにするには、どのようにしたらよろしいでしょうか?
宜しくお願いします。
const {createObjectCsvWriter} = require('csv-writer');
const client = require('cheerio-httpcli');
const ...
0
票
1回答
110 件の閲覧数
JSONデータから指定した値を取得するときのエラー
問題
言語処理100本ノックの「3章正規表現 29. 国旗画像のURLを取得する」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノックに挑戦 / 第3章: 正規表現」に掲載されていた回答では、「国章のURL」を取得するプログラムになっていたので、国旗のURLに変更しようとしています。
エラー
回答コードの以下の箇所を変更して、...
0
票
1回答
56 件の閲覧数
WebWorker側のWebSocketの関数をHookする
WebWorker(Dedicated Worker)側のWebsocketのコンストラクタとonmessageをHookする事はできますか?
Main thread であればJavaScript ProxyでHookできますが、これをWebWorker側のWebsocketに対して行いたいです。
WebWorkerのwindowはMain ...
0
票
1回答
318 件の閲覧数
docker環境におけるseleniumを使ったスクレイピングについて
現在、docker環境でrailsを使って勉強中です。
seleniumでスクレイピングをして遊んでいます。
ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。
やりたいこと
ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。
理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
0
票
1回答
218 件の閲覧数
0
票
1回答
2,460 件の閲覧数
BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい
from bs4 import BeautifulSoup
r = requests.get("********************")
soup = BeautifulSoup(r.content, "html.parser")
class = soup.find_all("div", class_ = "word")
このままだと、...
0
票
1回答
761 件の閲覧数
PythonのSeleniumで表示されているのにnot visibleな要素がクリックできない
このページの勤務地ボタンを押すとモーダルが表示されます。
モーダルの左メニューの地方をクリックするところまでは行けるのですが、例えば関西をクリック→大阪をクリックとしたい場合、大阪のチェックボックス(input要素)がnot visibleのためクリックできません。
当初はXpathでinput要素を取得していましたが、コードの方針を少し変えて、すべてのインプット要素をまず取得し、...