下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。
div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。
■理想とする出力
URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''',c''',a'''',b'''',c'''',a''''',b''''',c'''''
URLのタイトル(2)、a,b,c,a',b',c',a'',b'',c'',a''',b''',c''',a'''',b'''',c'''',a''''',b''''',c'''''
対象のHTML(例)
<div>
<table width="100%" cellpadding="0" cellspacing="0">
<tr>
<th>
<div>A</div><div>B</div>
</th>
<th>
<div>C</div><div>D</div>
</th>
<th>
E
</th>
</tr>
<tr>
<td>
<div>a</div><div>b</div>
</td>
<td>
<div><span><a id="123" href="xxx.html" class="yyy">c</a></span></div>
<div>d</div>
</td>
<td>
e
</td>
</tr>
<tr>
<td>
<div>a'</div><div>b'</div>
</td>
<td>
<div><span><a id="456" href="xxx.html" class="yyy">c'</a></span></div>
<div>d'</div>
</td>
<td>
e'
</td>
</tr>
</table>
</div>
スクリプト
import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
list = ["http://www.xxxxx", "http://www.xxxxxxxxxx"]
for target_url in list:
html = urlopen(target_url)
bsObj = BeautifulSoup(html, "html.parser")
# テーブルを指定
try:
title = bsObj.findAll("title")
table = bsObj.findAll("table")[14] #ページ内で15番目のtable
rows = table.findAll("tr")[1:6] # 1-5番目に記載しているものを取得
# csvファイルに書き出す
with open("ebooks_1.csv", "a", encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(title)
csvRow = []
for row in rows:
for cell in row.findAll('td')[:2]:
csvRow.append(cell.get_text())
writer.writerow(csvRow)
except BaseException:
with open("ebooks.csv", "a", encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(['エラー'])
findAll('td')[:2]
をfindAll('div')[:3]
とかfindAll('div', limit=3)
にしてみるとか?csvRow = []
を質問記事の元に戻して、writer.writerow(csvRow)
のインデントを1段階浅く(for row in rows:
と同じに)すれば良いのでは?