9
票
承認済み
このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')
文字列中に変数や式を埋め込むためのもので、「フォーマット済み文字列リテラル(f-strings)」と呼ばれるものです。
Python 3.6 から導入された機能で、str.format() を使うよりも短く記述することがきます。
# 以下は同じ出力が得られます。
# str.format() を使った場合
print('{}?{}{}'.format(base_url, qs, ...
5
票
Pythonでスクレイピングした結果の出力がされない
CSS セレクターを打ち間違えています。正しくは #listBook ですが #listbook になっています。
おまけ:思考の流れ
「URL が表示される」ためには、print(url) の行が実行される必要があります。URL が表示されないということは、おそらくこの行が実行されていないのでしょう。
print(url) の行は for 文の中にあります。この行が実行されないということは、...
4
票
承認済み
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは
aa"b"cc -> "aa""b""cc"
こうなります。なので正常に処理されているように見えます。
読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
4
票
承認済み
とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない
strではなく整数かスライスでなければならないと書かれていますが、よくわかりません。原因と解決策を教えていただけると嬉しいです。
エラーメッセージ list indices must be ... にある通り、r.json()['results'] は辞書(dict)のリストになっています。なので、list comprehension か map で中身の dict を取り出す必要があります。...
4
票
Pythonを使いLinkedInからGoogle社員の出身大学の情報を集めたい
Pyhtonを使い、LinkedInからGoogle社で働いている社員の出身大学のデータを集めたいのですが、スクレイピングを使えばいいのでしょうか? また、スクレイピングで可能でしょうか?
LinkedInの利用規約に「やるべきではないこと」として下記項目が書いてありますので禁止されているようです。
本サービスをスクレイピングする目的、...
3
票
承認済み
画像をスクレイピングしてまとめて表示させたい
Pythonでやる方法
取得
標準のurllibでも可能ですが、Requestsというライブラリが非常に使いやすいです。
Requests: HTTP for Humans™ — Requests 2.21.0 documentation
スクレイピング
BeautifulSoup4というライブラリが一般に使われています。
Beautiful Soup Documentation — ...
3
票
Pythonでのデータ収集環境について、自分の解釈が正しいかどうか
① Anacondaは、自らPython Data Science Distributionと名乗っているように、データサイエンスを中心にPythonを使う場合はいい選択肢になります。逆にWebアプリケーションを作る場合には、関連するパッケージが不足するのでpipでインストールすることが多くなり管理が難しくなります。webスクレイピングをするぐらいでアプリケーションまで作らないのであれば、...
3
票
承認済み
不特定多数のWebサイトへ対するクローラー頻度について
ウェブ健康診断仕様
http://www.ipa.go.jp/files/000017319.pdf
上記IPAが出してる資料は、サイトを作る側のチェックリストですが、「クローラーへの耐性」というチェック項目があります。この資料に書いてある以上の過剰なアクセスは避けた方が良いでしょう。
そのほかマナー的な点についても記載します。
同一ホストへのアクセスは、...
3
票
Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。
SyntaxErrorの行については、class_に入れたい箇所をシングルクォーテーション'で囲めば解消されます。
title = moviedetail.find(
'span', class_='"h2 ng-binding", ng-bind="$ctrl.product.Name"')
こちらは正規表現について調べてみることをおすすめします。
...
3
票
承認済み
セルに貼り付けたURLのHTMLをログに展開したい
おそらくエラーメッセージが出力されているはずで、そこに原因も書いてあることと思います。質問のコードを見るかぎりですと、以下のような原因が考えられます。
body という変数の定義が見当たらない
そもそも HTML を取得するコードが無い
cheerio は大文字で始まる Cheerio である可能性
(これはライブラリの導入時の設定によります。Apps Script ...
3
票
Pythonのinput()を実行しても入力フォームが現れない。
おそらく、このコードは正常に動いているはずです。
Pythonのinput()はこれといったダイヤログが出る、フォームがCUI上に出現することはありません。
実行すると何も動かないように見えると思いますが、その状態で文字を入力すると無事プログラムが動くはずです。
実際、こちらの環境(Python3.10)ではフォームは現れませんでしたが無事に動作しました。
input()...
2
票
承認済み
動的にDOMが生成されるサイトのスクレイピングについて
BeautifulSoup: 1つのURLで「承認」ボタンを押した後のみ表示されるHTMLをスクレイピングしたい(意訳) のように、本家SOに類似の質問が見つかります。
その回答によると、seleniumなどを併用しないとイベントの発火はできないようです。
このようなサイトをスクレイピングする場合は、BeautifulSoupだけでは限界があると認識しています。
ただし※...
2
票
承認済み
Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。
そのサイトの場合、テーブルデータをブラウザー側のJavaScriptで表示するようにしています。それで、ダウンロードした直後のhtmlを読み込んだのではテーブルは存在しません。
こういう場合にスクレイピングする方法は2つあります。
chrome等の開発者ツールのネットワークを使って、Webサーバーからのレスポンスの内容を調べて、必要なデータが入っているレスポンスを探して、...
2
票
承認済み
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
エラーメッセージを読むと、soupが定義されていないと書いてありますので、soupを定義する必要があります。
find("h1")を使おうとしていることから想像すると、soupはBeautifulSoupのオブジェクトであるべきです。
要するに、rとBeautifulSoupを使って、soupを作る処理が抜けているということになります。
何か参考にして書かれたのであれば、...
2
票
CSSセレクター ”table > tbody > tr” が lxml で動きません
使用しているCSSセレクタに tbody が含まれていますが、対象のHTMLコードでは tbody が省略されています。
lxml がパースするのは、このソースコードが対象ですので、tbody を削って、
#ciBox > table > tr:nth-child(1) > td
とする必要があります。
ブラウザなどのDOMではタグが省略された要素が補われますから、...
2
票
webスクレイピング実行時のエラー
エラーメッセージから、エラーは以下のところで発生しています。
res = urllib.request.urlopen(query_img)
それで、query_imageの内容に問題があると思われます。
query_img = "https://www.googleapis.com/customsearch/v1?key=" + API_KEY + "&cx=" + ...
2
票
pythonのwebスクレイピングについて
BeautifulSoupに指定しているパーサが間違っているようです。html_parser ではなく、 html.parser を指定してみてください。
import requests
from bs4 import BeautifulSoup
result = requests.get('https://news.yahoo.co.jp/list/')
soup = ...
2
票
深層に対するスクレイピングがうまくいかない Python
新しい回答(動作確認済み)
nth-childを使わず、一旦複数の近い要素をリストとして要素したあとに、それぞれの項目をよしなに扱うことで適切に取得できるようです。
import requests
from bs4 import BeautifulSoup
url = 'https://www.nikkei.com/nkd/company/?scode=3911'
html = ...
2
票
airbnbスクレイピング 県別データの抽出方法
スクレイピング用の情報収集や試行錯誤で時間を取るより、契約してAirbnb APIの公式な資料を入手した方が早くて堅実だと思うのですが。仕様変更とか遮断に気を使わなくて済むでしょうし。
API Partner
Connect to our API.
Connect to millions of travelers on Airbnb.
...
2
票
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
クラウド環境という制約の元、簡単にまとめてみました。
仮想サーバ(VPS、EC2、GCEなど)内で定期実行する方法
cronを利用し、定期的にスクリプトを起動する
cronとはジョブを定期的に実行するデーモンで、分単位で実行タイミングを指定することができます。
cron - ArchWiki
アプリケーションを常時起動しつつ、定期的に取得処理を動かす
...
2
票
承認済み
BeautifulSoupで要素内の要素を取得したい
ドキュメントに
AttributeError: 'ResultSet' object has no attribute 'foo' - This usually happens because you expected find_all() to return a single tag or string. But find_all() returns a list of tags and ...
2
票
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。
CSV ファイルの読み書き - Python ドキュメント
import csv
with open('eggs....
2
票
URLリストからそれぞれのサイトをスクレイピングする方法
@kunif さんのコメントにある通り、url_list に対するfor ループで良いのではないでしょうか
# URLを取得するコード
# ...
url_list = re.findall(pattern, text)
# 個別のサイトをスクレイピングするコード
import requests, bs4
for url in url_list :
res = requests....
2
票
webクローラーの仕組みや作り方を知りたい
クローラ (の仕組み) って要するに
http / https を使ってある web page の HTML ソースを取得し
人に見える部分(本文)とコンピュータ内部でのみ処理する部分とを切り分け
本文は自然言語解析処理にまわしたうえでデータベースに登録し(関連情報とともに)
広告とか、興味ない部分は切り捨てる
リンク先で同じことをする(...
2
票
承認済み
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
ヘルプファイルは EmEditor 自身でダウンロード出来ます。
EmEditor の [ヘルプ]->[設定]を「ローカルヘルプ」にして、
その段階でローカルに無かったら更新のチェックを行えば自動でダウンロードされると思います(確認はしていません)、
そして EmEditor上から Ctrl-F1 でローカルのヘルプファイルを開くことが出来ます。
...
2
票
承認済み
スクレイピングでhref属性値の一部の値を取得したい
正規表現を利用した方法を紹介します。
記述してある node.at_css('#information p > a')[1]["href"] ではうまくnodeがとれなかったので範囲内のaタグのリンク先を見て探すようにしました
base_url = "https://loconavi.jp/"
features_url = "features/...
2
票
スクレイピングで5chの書き込みを取得したいができない
lxml で行けました。あと文字化けについては、response.encoding の指定で直せます。
#res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/')
res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/...
2
票
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
悪質なアクセス回数稼ぎができるのではないでしょうか。
論理的には可能です。
ただし、そのような抜け穴が残っていた場合、悪意ある攻撃者の餌食になり、広告システムは速攻で破産し淘汰されています。存続している広告システム提供者は、そうならないよう考え得る最大限の防御がなされているはずです。
という前提において、一般人が思いつく程度の手法はすべて対策済みなのではないでしょうか?
2
票
承認済み
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
「広告」と謳っている以上は大事なことはアクセス数に対して広告掲載者に対して費用を払うことではなくて、広告主に対し出稿および支払った広告料に対し、効果を出すことが必要です。
広告はその費用対効果に付加価値や競争力があります。
広告を出す以上は自動アクセスや不正な利用で広告料を支払うことは望んでいません。それらを完全に対策することで、費用対効果が上がり、他の広告業者と差別化が図られます。
...
無効化に投票
関連するタグ
web-scraping × 146python × 91
python3 × 36
beautifulsoup × 23
selenium × 18
javascript × 10
html × 10
ruby × 9
csv × 6
php × 5
ruby-on-rails × 5
google-apps-script × 5
chromedriver × 5
node.js × 4
pandas × 4
r × 4
google-spreadsheet × 4
selenium-webdriver × 4
xpath × 4
python-requests × 4
json × 3
google-chrome × 3
google-colaboratory × 3
nokogiri × 3
phantomjs × 3