9
票
Accepted
BeautifulSoup4で入れ子のタグがあるとstringの正規表現検索ができないケースがある
下記のサンプルコードで、3月,4月が抽出できず、5月が抽出できる理由は何でしょうか。
3月、4月において .string が None となるためです。この挙動は p タグすべてに対して .string の値を調べることで確かめられます。そしていつ .string の値が None になるのか、というのは以下のようにドキュメントに書かれています[1]。
これに照らし合わせると、...
4
票
Accepted
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
一般的なCSVフォーマットでは、値に"が含まれる場合、出力されるCSVテキストは
aa"b"cc -> "aa""b""cc"
こうなります。なので正常に処理されているように見えます。
読み込み側のソフトで"が含まれるデータが想定されているのであれば、そのまま読み込めるはずです。
3
票
Accepted
beatifusoupをimportできないのはなぜ?
Python3のようなので、 pip install beautifulsoup4 をインストールしてください。 beautifulsoup (4じゃない方)はPython3で動作しません。
このあたりの話は以下にあります。
https://www.crummy.com/software/BeautifulSoup/bs3/documentation.html
そして、...
3
票
Beautifulsoupの使い方について
以下は bs4.BeautifulSoup.select を使う方法です。
from bs4 import BeautifulSoup
data = '''
<div class='A'>
<div class='B'></div>
<div class='C'></div>
<div class='D'><...
3
票
Accepted
BeautifulSoup を用いた、特定のli の内容の取得
引用: kondou.com - Beautiful Soup 4.2.0 Doc. 日本語訳 (2013-11-19最終更新)
HTML5の ‘data-*’ 属性など、いくつかの属性についてはキーワード引数として用いることができません。:
data_soup = BeautifulSoup('<div data-foo="value">foo!</div>')
...
2
票
Accepted
BeautifulSoupで要素内の要素を取得したい
ドキュメントに
AttributeError: 'ResultSet' object has no attribute 'foo' - This usually happens because you expected find_all() to return a single tag or string. But find_all() returns a list of tags and ...
2
票
beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい
テーブルには20行があるのに、1行しか取得できないの原因は
soup.find('div', {'id':'contents_liquid'}).findAll('tbody')
tbody は一つしかないので、for ループが1回だけ走らせしました。tbody から各 tr を取り出す必要があります。すなわち
soup.find('div', {'id':'contents_liquid'}...
2
票
Accepted
BeautifulSoupを使って<li>の内容をリストとして保存する方法?
# -*- coding: utf-8 -*-
import requests
import bs4
import pandas as pd # pandas
def main():
html ="""
<ul id="front">
<li class="icon-01">乗用車</li>
<li ...
2
票
Accepted
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
エラーメッセージを読むと、soupが定義されていないと書いてありますので、soupを定義する必要があります。
find("h1")を使おうとしていることから想像すると、soupはBeautifulSoupのオブジェクトであるべきです。
要するに、rとBeautifulSoupを使って、soupを作る処理が抜けているということになります。
何か参考にして書かれたのであれば、...
2
票
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。
CSV ファイルの読み書き - Python ドキュメント
import csv
with open('eggs....
2
票
スクレイピングで5chの書き込みを取得したいができない
lxml で行けました。あと文字化けについては、response.encoding の指定で直せます。
#res = requests.get('https://himawari.5ch.net/test/read.cgi/livetx/1523962661/')
res = requests.get('https://hawk.5ch.net/test/read.cgi/livejupiter/...
2
票
Accepted
pythonでのウェブスクレイピングにエラーが出るので、原因を特定していただきたいです。
エラーの直接の原因は、 BeautifulSoup4 が内部で Python 標準ライブラリの collections.Callable を参照しているせいです。これは Python 3.10 で削除されました。
現時点の最新版である BeautifulSoup4 4.10.0 では修正済みのようなのでアップデートしてみてください。うまくいかないようなら Python 3.9 以下を使ってください。...
1
票
Beautifulsoupの使い方について
Beautifulsoupの select メソッドで取得したものをさらに絞り込む方法
class="A" の要素を取得したのちに
最初に現れる div要素であれば
(そしてそれが class="A" であるはずと決まってるなら後者のように記述するかも)
clsa = soup.select('div.A')[0]
#clsa = soup.div #...
1
票
Python3とBeatifulSoup4を使ってhtmlからsvgを抜き取りました。svg画像としてExcelへ貼り付けるため、svgファイルとして保存する方法を教えてください。
以下は, デスクトップに temp.svg という名前で保存する場合
(デスクトップフォルダーの名前を Desktopと仮定 (名前変えてなければ大丈夫のはず))
from bs4 import BeautifulSoup
from pathlib import Path
soup = BeautifulSoup(text, 'html.parser')
svgs = soup('svg')
...
1
票
pythonのlamda式を普通の式に戻したい。
Beautiful Soup の和訳はこちら ==> http://kondou.com/BS4/
lambda の it は iterator/iterable のつもりかも? 単なる引数名。
関数にして, ここでは tagと記します
def is_comment(tag):
x = isinstance(tag, Comment)
return x
all_comment = ...
1
票
pythonのlamda式を普通の式に戻したい。
ラムダ式については先ずはPython公式のドキュメントを見てください。
6.14. ラムダ (lambda)
ラムダ式 (ラムダ形式とも呼ばれます) は無名関数を作成するのに使います。 式 lambda parameters: expression は関数オブジェクトになります。 この無名オブジェクトは以下に定義されている関数オブジェクト同様に動作します:
def <lambda>(...
1
票
BeautifulSoup4がImportできない
エラーメッセージの最後の方にある File "/Users/user名/Documents/html.py", line 2, in from bs4 import BeautifulSoup が原因では? 実行しようとしている File "/Users/user名/Documents/20210114.py", line 1, in from bs4 ...
1
票
Accepted
BeautifulSoup4で空白文字を含んだclassの中身を取得したい
@payaneco さんの回答にもありますが、soup = BeautifulSoup(html, 'html.parser')の処理を通した時点でクラス名文字列の後ろに付いた空白は削られています。(おそらく文字列の前に空白が付いていても削られると思われます)
そのため、BeautifulSoup()処理後のデータを使った場合は、...
1
票
Accepted
beautifulsoupでbodyタグの中身が取得できない
簡易パーザーであるhtml.parserではパーズに失敗してまともに読み込めないぐらい、元のhtmlの構造が複雑 もしくは 壊れているということです。
環境によっては難しいかもしれませんが、lxmlを指定すると動くことは動く(*)ので可能ならlxmlを使うべきです。
(*)htmlの構造がおかしいので、その影響はありますが。
import requests
from bs4 import ...
1
票
beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい
f.close() した時点で続きを書き込めなくなり、2行目以降が出力されないのでしょう。
f.close() を削除してください。
1
票
Yahoo検索のスクレイピングで広告だけが取得できない
metropolis さんより
User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
1
票
スクレイピングで子を一つだけ取り除く方法。
タグの属性へのアクセス(参考)
find_allへフィルタとして関数を渡せること(参考)
を利用すると次のように書けますね。
from bs4 import BeautifulSoup
data = '''
<div class='ttt'>
<div class='red'></div>
<div class='green'></...
1
票
Accepted
スクレイピングで子を一つだけ取り除く方法。
decomposeで不要な項目を削除してから取り出す方法はいかがでしょうか。
サンプルコード
from bs4 import BeautifulSoup
data = """
<html>
<body>
<div class='ttt'>
<div class='red'></div>
<div class=...
1
票
Accepted
python, BeautifulSoupでgoogle検索のタイトル取得できない
google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。
まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。
...
1
票
PythonスクレイピングでGoogle検索画面情報取得
requestsから戻ってきたcontentがfor文で使っているselectにヒットしていないようです。
Googleのhtmlの様式が変わったことが原因かと思いますが、単純に下記の構文ならばそれっぽいURLを取得できたのでこれを改修して目的を達成できるかもしれません。
ただしまた様式が変わるとコードが使い物にならなくなりますので、コメントに寄せられた方法を使うことをお勧めします。
import ...
1
票
BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい
テキストだけで良いのであれば、以下で出来るでしょう。
from bs4 import BeautifulSoup
import requests
r = requests.get("********************")
soup = BeautifulSoup(r.content, "html.parser")
wordclass = soup.find_all("div", ...
1
票
Accepted
取得した文字列の操作及び出力python
現在掲載されているサンプルコードだと動作しなかったため、標準的な対応方法をそれぞれについて解説します。
別々のリストに入った文字列からxx:xxという時刻の文字列を取り出し出力すること。今のままだと1800みたくなってしまいます。findallで取得したものの中に":"や"~"という文字は除外されてしまうみたいです。
現在コメントアウトしている正規表現が原因に見えます。例えば、 re....
1
票
指定したレイヤーのみを範囲にスクレイピング
#foo > .bar というように、子セレクタを利用することで fooというidの小要素だけを指定して取得することができます。
子結合子 | MDN
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
beautifulsoup × 59python × 52
python3 × 28
web-scraping × 22
python-requests × 6
html × 5
csv × 4
xml × 2
python-idle × 2
javascript × 1
pandas × 1
html5 × 1
windows-10 × 1
array × 1
selenium × 1
google-colaboratory × 1
mongodb × 1
cookie × 1
python2 × 1
svg × 1
テキストファイル × 1
amazon × 1