質問で提示されたhtmlには閉じられていないタグが含まれますが、<h2>...</h2>
のようにタグが閉じられているhtmlを用いる前提で記述します。
提示されたhtmlは入れ子になっていないので、findAllを使ってh1
の中にあるh2
は取得できません。
下記のような構造ならばtitle1.findAll('h2')
でh2
が取得できます。
<h1>
<h2>入れ子!</h2>
</h1>
今回のような並列構造では、find_next_sibling
を使って条件付きで隣のタグを取得する必要があります。
下記のようなコードで、目的の本文を取得できそうです。
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('test.html'), 'html.parser')
#textで指定する各タイトルは、変数やコマンドライン引数に書き換えてください
h3 = soup.find('h1', text='タイトル').find_next_sibling('h2', text='サブタイトル').find_next_sibling('h3', text='サブサブタイトル')
ul = h3.find_next_sibling('ul')
for li in ul.findAll('li'):
print(li.text)
ただし上記のコードはfind_next_sibling
で、見つかったタグの下にあるタグをすべて見つけるため、下記のような問題が発生する可能性があります。
タグが必ず存在する前提ならば問題ありませんが、そうでなければfind_next_sibling
にtextの条件を追加せず、for文などを使って範囲の洗い出しをするよう改修してください。
<h1>タイトル</h1>
<h2>サブタイトル</h2>
<!--サブサブタイトルがない-->
<h2>サブタイトル2</h2>
<h3>サブサブタイトル</h3> <!--←サンプルコードのNextSiblingでサブタイトル2の下にスキップしてしまう-->