0

BS4初心者、というかWebスクレイピング初心者です。
スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。
取得する必要があるのは動的に変更となるclass名自体になります。
reなどでワイルドカードを利用したclass名指定による値取出しはできるのですが、今回の場合、class名自体を取得したいのです。

サイトの例示は以下のようになります。

    <div class="Kategorie science"> ←"Kategorie science"の部分が動的に変る
<h2 class="TitleName">XXXの本</h2>
<span class="TitleDetail Level-1">XXXXXX</span>
<div class="TitleLabels">
    <span class="label Level-1">XXXXXXX</span>
</div>

このようなサイトデータから"Kategorie science"(実際には都度動的に変更となります)を取得したいのです。 

アドバイスを頂けると幸甚です。

1
  • htmlソースの断片だけ提示されても助言や回答は難しいのでは? 差し支えなければ実際の対象URLを示すか、全体的な構成は維持して特定/公開されたくない情報だけは何か別の物に置き換える(ただし置き換えた中でも違う物は区別が付くようにする)などして提示した方が良いと思われます。
    – kunif
    2021年12月26日 15:59

2 件の回答 2

1
>>> from bs4 import BeautifulSoup
>>> s = BeautifulSoup('''<div class="Kategorie science"> ←"Kategorie science"の部分が動的に変る
... <h2 class="TitleName">XXXの本</h2>
... <span class="TitleDetail Level-1">XXXXXX</span>
... <div class="TitleLabels">
...     <span class="label Level-1">XXXXXXX</span>
... </div>''', 'lxml')

>>> classes = [d['class'] for d in s.findAll('div')]
>>> classes
[['Kategorie', 'science'], ['TitleLabels']]

とか

1
  • quickquipさん、ありがとうございます。そういう手がありましたね。beautifulsoupだけでやらなきゃいけないと思い込んでいました。
    – user50659
    2021年12月27日 2:26
0

(回答付いてるけど, 少し異なるような?記述として)

>>> from bs4 import BeautifulSoup
>>> page = '''
...     <div class="Kategorie science"> ←"Kategorie science"の部分が動的に変る
... <h2 class="TitleName">XXXの本</h2>
... <span class="TitleDetail Level-1">XXXXXX</span>
... <div class="TitleLabels">
...     <span class="label Level-1">XXXXXXX</span>
... </div>
... '''
>>> soup = BeautifulSoup(page)

最初に見つかる divの class

>>> soup.div['class']
['Kategorie', 'science']

すべての divの class属性を持つもの (から属性のみ表示)

>>> soup('div', class_=lambda v: print(v))
Kategorie
science
Kategorie science
TitleLabels
TitleLabels
[]
1
  • oririさん。ありがとうございます。lambdaを利用した方法もあるのですね。勉強になりました。
    – user50659
    2021年12月29日 6:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。