0

.py

from bs4 import BeautifulSoup
# urlは例です
url = 'https://example.com'

response = requests.get(url)
data = response.text
soup = BeautifulSoup(data, 'html.parser')

HTML

<div class='ttt'>
  <div class='red'></div>
  <div class='green'></div>
  <div class='blue'></div>
</div>

このようなHTMLからグリーン以外を取り出したいのですが、

soup.find('div', {'class':'ttt'}).children

を使ったらすべて取り出されてしまいます。
このクラスの順番は毎回変わるので位置の指定はつかえないです。

1
  • 2
    CSS selector を使う方法もあります。soup.select('div.ttt > div[class!="green"]')
    – user39889
    Commented 2020年1月13日 9:39

2 件の回答 2

1

decomposeで不要な項目を削除してから取り出す方法はいかがでしょうか。

サンプルコード
from bs4 import BeautifulSoup

data = """
<html>
<body>
  <div class='ttt'>
    <div class='red'></div>
    <div class='green'></div>
    <div class='blue'></div>
  </div>
</body>
</html>
"""
soup = BeautifulSoup(data, 'html.parser')
soup.find('div', {'class':'green'}).decompose() # 項目削除
for c in soup.find('div', {'class':'ttt'}).children:
   c
実行結果
'\n'
<div class="red"></div>
'\n'
'\n'
<div class="blue"></div>
'\n'
5
  • なるほど。それはとても便利ですね!元の質問からそれた初心者の質問になってしまいますが、どのようにしてそのような関数を見つけたらよいのでしょうか?やはりドキュメントを時間をかけてみたほうが良いのでしょうか?もしくはgoogle検索力ですか?
    – sapcal000
    Commented 2020年1月13日 9:23
  • 1
    模範解答としては「ドキュメントを読みましょう」です。ライブラリ開発者が整えたドキュメントは信頼性が高く最新情報を更新している可能性が高いです。しかし現実には私自身が「BeautifulSoup class 除外」で検索した結果を元に回答しました。特に外国語のドキュメントから目的のトピックを探し出すのは大変ですので、google検索から正解を導き出す速度も技術力のひとつと言えるでしょう。それをふまえて私がお勧めするのは「検索で見つけた情報は、そのキーワードでドキュメントの一次情報を探すと良いよ」です。正確な最新情報の他にくわしい引数や関連項目など副次的な情報も入手できる可能性が高まります。
    – payaneco
    Commented 2020年1月13日 10:10
  • 1
    [c for c in soup.find('div', {'class': 'ttt'}) if type(c).__name__ == 'Tag'] とすると bs4.element.Tag クラスのインスタンス以外を除去できます。
    – user39889
    Commented 2020年1月13日 11:50
  • @payaneco なるほど。まずはヒットするまでいろいろググってみてから、その後ドキュメントで確認するようにしてみます。ありがとうございます。
    – sapcal000
    Commented 2020年1月14日 22:50
  • @metropolis いろいろな方法がありますね。勉強になります!
    – sapcal000
    Commented 2020年1月14日 22:51
1
  • タグの属性へのアクセス(参考)
  • find_allへフィルタとして関数を渡せること(参考)

を利用すると次のように書けますね。

from bs4 import BeautifulSoup

data = '''
<div class='ttt'>
  <div class='red'></div>
  <div class='green'></div>
  <div class='blue'></div>
</div>
'''

soup = BeautifulSoup(data, features="html.parser")

elems = soup.find('div', {
    'class': 'ttt'
}).find_all(lambda d: 'green' not in d['class'])

print(elems)

実行結果

[<div class="red"></div>, <div class="blue"></div>]
1
  • lambdaを使うことは頭にありませんでした!ラムダはいつ使うんだろうかと思っていましたが、このように使えるのですね!ありがとうござます。
    – sapcal000
    Commented 2020年1月13日 9:25

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。