次のタグが付いている話題の回答:

9
Accepted

BeautifulSoup4で入れ子のタグがあるとstringの正規表現検索ができないケースがある

下記のサンプルコードで、3月,4月が抽出できず、5月が抽出できる理由は何でしょうか。 3月、4月において .string が None となるためです。この挙動は p タグすべてに対して .string の値を調べることで確かめられます。そしていつ .string の値が None になるのか、というのは以下のようにドキュメントに書かれています[1]。 これに照らし合わせると、...
supa's user avatar
  • 5,251
4
Accepted

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは aa"b"cc -> "aa""b""cc" こうなります。なので正常に処理されているように見えます。 読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
suzukis's user avatar
  • 1.2万
3
Accepted

beatifusoupをimportできないのはなぜ?

Python3のようなので、 pip install beautifulsoup4 をインストールしてください。 beautifulsoup (4じゃない方)はPython3で動作しません。 このあたりの話は以下にあります。 https://www.crummy.com/software/BeautifulSoup/bs3/documentation.html そして、...
Takayuki SHIMIZUKAWA's user avatar
3

Beautifulsoupの使い方について

以下は bs4.BeautifulSoup.select を使う方法です。 from bs4 import BeautifulSoup data = ''' <div class='A'> <div class='B'></div> <div class='C'></div> <div class='D'><...
metropolis's user avatar
  • 5,740
3
Accepted

BeautifulSoup を用いた、特定のli の内容の取得

引用: kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新) HTML5の ‘data-*’ 属性など、いくつかの属性についてはキーワード引数として用いることができません。: data_soup = BeautifulSoup('<div data-foo="value">foo!</div>') ...
shingo.nakanishi's user avatar
2
Accepted

BeautifulSoupで要素内の要素を取得したい

ドキュメントに AttributeError: 'ResultSet' object has no attribute 'foo' - This usually happens because you expected find_all() to return a single tag or string. But find_all() returns a list of tags and ...
hinaloe's user avatar
  • 4,701
2

beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい

テーブルには20行があるのに、1行しか取得できないの原因は soup.find('div', {'id':'contents_liquid'}).findAll('tbody') tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち soup.find('div', {'id':'contents_liquid'}...
neuront's user avatar
  • 820
2
Accepted

BeautifulSoupを使って<li>の内容をリストとして保存する方法?

# -*- coding: utf-8 -*- import requests import bs4 import pandas as pd # pandas def main(): html =""" <ul id="front"> <li class="icon-01">乗用車</li> <li ...
umyu's user avatar
  • 116
2
Accepted

BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。

エラーメッセージを読むと、soupが定義されていないと書いてありますので、soupを定義する必要があります。 find("h1")を使おうとしていることから想像すると、soupはBeautifulSoupのオブジェクトであるべきです。 要するに、rとBeautifulSoupを使って、soupを作る処理が抜けているということになります。 何か参考にして書かれたのであれば、...
todashuta's user avatar
  • 1,370
2

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。 CSV ファイルの読み書き - Python ドキュメント import csv with open('eggs....
cubick's user avatar
  • 2万
2

スクレイピングで5chの書き込みを取得したいができない

lxml で行けました。あと文字化けについては、response.encoding の指定で直せます。 #res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/') res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/...
hata's user avatar
  • 2,631
2
Accepted

pythonでのウェブスクレイピングにエラーが出るので、原因を特定していただきたいです。

エラーの直接の原因は、 BeautifulSoup4 が内部で Python 標準ライブラリの collections.Callable を参照しているせいです。これは Python 3.10 で削除されました。 現時点の最新版である BeautifulSoup4 4.10.0 では修正済みのようなのでアップデートしてみてください。うまくいかないようなら Python 3.9 以下を使ってください。...
uasi's user avatar
  • 432
1

Beautifulsoupの使い方について

Beautifulsoupの select メソッドで取得したものをさらに絞り込む方法 class="A" の要素を取得したのちに 最初に現れる div要素であれば (そしてそれが class="A" であるはずと決まってるなら後者のように記述するかも) clsa = soup.select('div.A')[0] #clsa = soup.div #...
oriri's user avatar
  • 5,267
1

Python3とBeatifulSoup4を使ってhtmlからsvgを抜き取りました。svg画像としてExcelへ貼り付けるため、svgファイルとして保存する方法を教えてください。

以下は, デスクトップに temp.svg という名前で保存する場合 (デスクトップフォルダーの名前を Desktopと仮定 (名前変えてなければ大丈夫のはず)) from bs4 import BeautifulSoup from pathlib import Path soup = BeautifulSoup(text, 'html.parser') svgs = soup('svg') ...
oriri's user avatar
  • 5,267
1

pythonのlamda式を普通の式に戻したい。

Beautiful Soup の和訳はこちら ==> http://kondou.com/BS4/ lambda の it は iterator/iterable のつもりかも? 単なる引数名。 関数にして, ここでは tagと記します def is_comment(tag): x = isinstance(tag, Comment) return x all_comment = ...
oriri's user avatar
  • 5,267
1

pythonのlamda式を普通の式に戻したい。

ラムダ式については先ずはPython公式のドキュメントを見てください。 6.14. ラムダ (lambda) ラムダ式 (ラムダ形式とも呼ばれます) は無名関数を作成するのに使います。 式 lambda parameters: expression は関数オブジェクトになります。 この無名オブジェクトは以下に定義されている関数オブジェクト同様に動作します: def <lambda>(...
kunif's user avatar
  • 1.7万
1

BeautifulSoup4がImportできない

エラーメッセージの最後の方にある File "/Users/user名/Documents/html.py", line 2, in from bs4 import BeautifulSoup が原因では? 実行しようとしている File "/Users/user名/Documents/20210114.py", line 1, in from bs4 ...
kunif's user avatar
  • 1.7万
1
Accepted

BeautifulSoup4で空白文字を含んだclassの中身を取得したい

@payaneco さんの回答にもありますが、soup = BeautifulSoup(html, 'html.parser')の処理を通した時点でクラス名文字列の後ろに付いた空白は削られています。(おそらく文字列の前に空白が付いていても削られると思われます) そのため、BeautifulSoup()処理後のデータを使った場合は、...
kunif's user avatar
  • 1.7万
1
Accepted

beautifulsoupでbodyタグの中身が取得できない

簡易パーザーであるhtml.parserではパーズに失敗してまともに読み込めないぐらい、元のhtmlの構造が複雑 もしくは 壊れているということです。 環境によっては難しいかもしれませんが、lxmlを指定すると動くことは動く(*)ので可能ならlxmlを使うべきです。 (*)htmlの構造がおかしいので、その影響はありますが。 import requests from bs4 import ...
quickquip's user avatar
  • 2,059
1

beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい

f.close() した時点で続きを書き込めなくなり、2行目以降が出力されないのでしょう。 f.close() を削除してください。
Takayuki SHIMIZUKAWA's user avatar
1

Yahoo検索のスクレイピングで広告だけが取得できない

metropolis さんより User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
未来のエンジニア's user avatar
1

スクレイピングで子を一つだけ取り除く方法。

タグの属性へのアクセス(参考) find_allへフィルタとして関数を渡せること(参考) を利用すると次のように書けますね。 from bs4 import BeautifulSoup data = ''' <div class='ttt'> <div class='red'></div> <div class='green'></...
letrec's user avatar
  • 3,160
1
Accepted

スクレイピングで子を一つだけ取り除く方法。

decomposeで不要な項目を削除してから取り出す方法はいかがでしょうか。 サンプルコード from bs4 import BeautifulSoup data = """ <html> <body> <div class='ttt'> <div class='red'></div> <div class=...
payaneco's user avatar
  • 1.2万
1
Accepted

python, BeautifulSoupでgoogle検索のタイトル取得できない

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。 まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。 次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。 ...
kobabu_wrap's user avatar
1

PythonスクレイピングでGoogle検索画面情報取得

requestsから戻ってきたcontentがfor文で使っているselectにヒットしていないようです。 Googleのhtmlの様式が変わったことが原因かと思いますが、単純に下記の構文ならばそれっぽいURLを取得できたのでこれを改修して目的を達成できるかもしれません。 ただしまた様式が変わるとコードが使い物にならなくなりますので、コメントに寄せられた方法を使うことをお勧めします。 import ...
payaneco's user avatar
  • 1.2万
1

BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい

テキストだけで良いのであれば、以下で出来るでしょう。 from bs4 import BeautifulSoup import requests r = requests.get("********************") soup = BeautifulSoup(r.content, "html.parser") wordclass = soup.find_all("div", ...
kunif's user avatar
  • 1.7万
1
Accepted

取得した文字列の操作及び出力python

現在掲載されているサンプルコードだと動作しなかったため、標準的な対応方法をそれぞれについて解説します。 別々のリストに入った文字列からxx:xxという時刻の文字列を取り出し出力すること。今のままだと1800みたくなってしまいます。findallで取得したものの中に":"や"~"という文字は除外されてしまうみたいです。 現在コメントアウトしている正規表現が原因に見えます。例えば、 re....
PicoSushi's user avatar
  • 4,919
1

指定したレイヤーのみを範囲にスクレイピング

#foo > .bar というように、子セレクタを利用することで fooというidの小要素だけを指定して取得することができます。 子結合子 | MDN
PicoSushi's user avatar
  • 4,919

Only top scored, non community-wiki answers of a minimum length are eligible