Skip to main content

次のタグが付いている話題の回答:

9
承認済み

このfはどういう働きをしてるのでしょうか? → session.get(f’{base_url}?{qs}{page_num}')

文字列中に変数や式を埋め込むためのもので、「フォーマット済み文字列リテラル(f-strings)」と呼ばれるものです。 Python 3.6 から導入された機能で、str.format() を使うよりも短く記述することがきます。 # 以下は同じ出力が得られます。 # str.format() を使った場合 print('{}?{}{}'.format(base_url, qs, ...
wata's user avatar
  • 301
5

Pythonでスクレイピングした結果の出力がされない

CSS セレクターを打ち間違えています。正しくは #listBook ですが #listbook になっています。 おまけ:思考の流れ 「URL が表示される」ためには、print(url) の行が実行される必要があります。URL が表示されないということは、おそらくこの行が実行されていないのでしょう。 print(url) の行は for 文の中にあります。この行が実行されないということは、...
nekketsuuu's user avatar
  • 2.4万
4
承認済み

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは aa"b"cc -> "aa""b""cc" こうなります。なので正常に処理されているように見えます。 読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
suzukis's user avatar
  • 1.2万
4
承認済み

とあるサイトの通信状況を調べて、JSONファイルの中身をPythonで取得しようとしたがうまくいかない

strではなく整数かスライスでなければならないと書かれていますが、よくわかりません。原因と解決策を教えていただけると嬉しいです。 エラーメッセージ list indices must be ... にある通り、r.json()['results'] は辞書(dict)のリストになっています。なので、list comprehension か map で中身の dict を取り出す必要があります。...
metropolis's user avatar
  • 6,705
4

Pythonを使いLinkedInからGoogle社員の出身大学の情報を集めたい

Pyhtonを使い、LinkedInからGoogle社で働いている社員の出身大学のデータを集めたいのですが、スクレイピングを使えばいいのでしょうか? また、スクレイピングで可能でしょうか? LinkedInの利用規約に「やるべきではないこと」として下記項目が書いてありますので禁止されているようです。 本サービスをスクレイピングする目的、...
merino's user avatar
  • 1,271
3
承認済み

画像をスクレイピングしてまとめて表示させたい

Pythonでやる方法 取得 標準のurllibでも可能ですが、Requestsというライブラリが非常に使いやすいです。 Requests: HTTP for Humans™ — Requests 2.21.0 documentation スクレイピング BeautifulSoup4というライブラリが一般に使われています。 Beautiful Soup Documentation — ...
PicoSushi's user avatar
  • 4,959
3

Pythonでのデータ収集環境について、自分の解釈が正しいかどうか

① Anacondaは、自らPython Data Science Distributionと名乗っているように、データサイエンスを中心にPythonを使う場合はいい選択肢になります。逆にWebアプリケーションを作る場合には、関連するパッケージが不足するのでpipでインストールすることが多くなり管理が難しくなります。webスクレイピングをするぐらいでアプリケーションまで作らないのであれば、...
Yasuhiro Niji's user avatar
3
承認済み

不特定多数のWebサイトへ対するクローラー頻度について

ウェブ健康診断仕様 http://www.ipa.go.jp/files/000017319.pdf 上記IPAが出してる資料は、サイトを作る側のチェックリストですが、「クローラーへの耐性」というチェック項目があります。この資料に書いてある以上の過剰なアクセスは避けた方が良いでしょう。 そのほかマナー的な点についても記載します。 同一ホストへのアクセスは、...
tell k's user avatar
  • 526
3

Pythonでのスクレイピングで、syntax error になりました。どう直せばいいかわかりません。

SyntaxErrorの行については、class_に入れたい箇所をシングルクォーテーション'で囲めば解消されます。 title = moviedetail.find( 'span', class_='"h2 ng-binding", ng-bind="$ctrl.product.Name"') こちらは正規表現について調べてみることをおすすめします。 ...
にゃんぴょう's user avatar
3
承認済み

セルに貼り付けたURLのHTMLをログに展開したい

おそらくエラーメッセージが出力されているはずで、そこに原因も書いてあることと思います。質問のコードを見るかぎりですと、以下のような原因が考えられます。 body という変数の定義が見当たらない そもそも HTML を取得するコードが無い cheerio は大文字で始まる Cheerio である可能性 (これはライブラリの導入時の設定によります。Apps Script ...
mjy's user avatar
  • 1.2万
3

Pythonのinput()を実行しても入力フォームが現れない。

おそらく、このコードは正常に動いているはずです。 Pythonのinput()はこれといったダイヤログが出る、フォームがCUI上に出現することはありません。 実行すると何も動かないように見えると思いますが、その状態で文字を入力すると無事プログラムが動くはずです。 実際、こちらの環境(Python3.10)ではフォームは現れませんでしたが無事に動作しました。 input()...
dredgk's user avatar
  • 31
2
承認済み

動的にDOMが生成されるサイトのスクレイピングについて

BeautifulSoup: 1つのURLで「承認」ボタンを押した後のみ表示されるHTMLをスクレイピングしたい(意訳) のように、本家SOに類似の質問が見つかります。 その回答によると、seleniumなどを併用しないとイベントの発火はできないようです。 このようなサイトをスクレイピングする場合は、BeautifulSoupだけでは限界があると認識しています。 ただし※...
payaneco's user avatar
  • 1.2万
2
承認済み

Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。

そのサイトの場合、テーブルデータをブラウザー側のJavaScriptで表示するようにしています。それで、ダウンロードした直後のhtmlを読み込んだのではテーブルは存在しません。 こういう場合にスクレイピングする方法は2つあります。 chrome等の開発者ツールのネットワークを使って、Webサーバーからのレスポンスの内容を調べて、必要なデータが入っているレスポンスを探して、...
Yasuhiro Niji's user avatar
2
承認済み

BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。

エラーメッセージを読むと、soupが定義されていないと書いてありますので、soupを定義する必要があります。 find("h1")を使おうとしていることから想像すると、soupはBeautifulSoupのオブジェクトであるべきです。 要するに、rとBeautifulSoupを使って、soupを作る処理が抜けているということになります。 何か参考にして書かれたのであれば、...
todashuta's user avatar
  • 1,380
2

CSSセレクター ”table > tbody > tr” が lxml で動きません

使用しているCSSセレクタに tbody が含まれていますが、対象のHTMLコードでは tbody が省略されています。 lxml がパースするのは、このソースコードが対象ですので、tbody を削って、 #ciBox > table > tr:nth-child(1) > td とする必要があります。 ブラウザなどのDOMではタグが省略された要素が補われますから、...
mjy's user avatar
  • 1.2万
2

webスクレイピング実行時のエラー

エラーメッセージから、エラーは以下のところで発生しています。 res = urllib.request.urlopen(query_img) それで、query_imageの内容に問題があると思われます。 query_img = "https://www.googleapis.com/customsearch/v1?key=" + API_KEY + "&cx=" + ...
Yasuhiro Niji's user avatar
2

pythonのwebスクレイピングについて

BeautifulSoupに指定しているパーサが間違っているようです。html_parser ではなく、 html.parser を指定してみてください。 import requests from bs4 import BeautifulSoup result = requests.get('https://news.yahoo.co.jp/list/') soup = ...
PicoSushi's user avatar
  • 4,959
2

深層に対するスクレイピングがうまくいかない Python

新しい回答(動作確認済み) nth-childを使わず、一旦複数の近い要素をリストとして要素したあとに、それぞれの項目をよしなに扱うことで適切に取得できるようです。 import requests from bs4 import BeautifulSoup url = 'https://www.nikkei.com/nkd/company/?scode=3911' html = ...
PicoSushi's user avatar
  • 4,959
2

airbnbスクレイピング 県別データの抽出方法

スクレイピング用の情報収集や試行錯誤で時間を取るより、契約してAirbnb APIの公式な資料を入手した方が早くて堅実だと思うのですが。仕様変更とか遮断に気を使わなくて済むでしょうし。 API Partner Connect to our API. Connect to millions of travelers on Airbnb. ...
kunif's user avatar
  • 1.8万
2

Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい

クラウド環境という制約の元、簡単にまとめてみました。 仮想サーバ(VPS、EC2、GCEなど)内で定期実行する方法 cronを利用し、定期的にスクリプトを起動する cronとはジョブを定期的に実行するデーモンで、分単位で実行タイミングを指定することができます。 cron - ArchWiki アプリケーションを常時起動しつつ、定期的に取得処理を動かす ...
PicoSushi's user avatar
  • 4,959
2
承認済み

BeautifulSoupで要素内の要素を取得したい

ドキュメントに AttributeError: 'ResultSet' object has no attribute 'foo' - This usually happens because you expected find_all() to return a single tag or string. But find_all() returns a list of tags and ...
hinaloe's user avatar
  • 4,751
2

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。 CSV ファイルの読み書き - Python ドキュメント import csv with open('eggs....
cubick's user avatar
  • 2.1万
2

URLリストからそれぞれのサイトをスクレイピングする方法

@kunif さんのコメントにある通り、url_list に対するfor ループで良いのではないでしょうか # URLを取得するコード # ... url_list = re.findall(pattern, text) # 個別のサイトをスクレイピングするコード import requests, bs4 for url in url_list : res = requests....
s kokado's user avatar
2

webクローラーの仕組みや作り方を知りたい

クローラ (の仕組み) って要するに http / https を使ってある web page の HTML ソースを取得し 人に見える部分(本文)とコンピュータ内部でのみ処理する部分とを切り分け 本文は自然言語解析処理にまわしたうえでデータベースに登録し(関連情報とともに) 広告とか、興味ない部分は切り捨てる リンク先で同じことをする(...
774RR's user avatar
  • 2.2万
2
承認済み

EmEditorをウェブスクレイピングとして使うことは可能でしょうか?

ヘルプファイルは EmEditor 自身でダウンロード出来ます。 EmEditor の [ヘルプ]->[設定]を「ローカルヘルプ」にして、 その段階でローカルに無かったら更新のチェックを行えば自動でダウンロードされると思います(確認はしていません)、 そして EmEditor上から Ctrl-F1 でローカルのヘルプファイルを開くことが出来ます。 ...
user40304's user avatar
  • 376
2
承認済み

スクレイピングでhref属性値の一部の値を取得したい

正規表現を利用した方法を紹介します。 記述してある node.at_css('#information p > a')[1]["href"] ではうまくnodeがとれなかったので範囲内のaタグのリンク先を見て探すようにしました base_url = "https://loconavi.jp/" features_url = "features/...
sugumura's user avatar
  • 871
2

スクレイピングで5chの書き込みを取得したいができない

lxml で行けました。あと文字化けについては、response.encoding の指定で直せます。 #res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/') res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/...
hata's user avatar
  • 2,764
2

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

悪質なアクセス回数稼ぎができるのではないでしょうか。 論理的には可能です。 ただし、そのような抜け穴が残っていた場合、悪意ある攻撃者の餌食になり、広告システムは速攻で破産し淘汰されています。存続している広告システム提供者は、そうならないよう考え得る最大限の防御がなされているはずです。 という前提において、一般人が思いつく程度の手法はすべて対策済みなのではないでしょうか?
sayuri's user avatar
  • 4.3万
2
承認済み

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

「広告」と謳っている以上は大事なことはアクセス数に対して広告掲載者に対して費用を払うことではなくて、広告主に対し出稿および支払った広告料に対し、効果を出すことが必要です。 広告はその費用対効果に付加価値や競争力があります。 広告を出す以上は自動アクセスや不正な利用で広告料を支払うことは望んでいません。それらを完全に対策することで、費用対効果が上がり、他の広告業者と差別化が図られます。 ...
keitaro_so's user avatar
  • 5,285

無効化に投票