python,xpathを用いてwebスクレイピングを行っています。
スクレイピングを行っているサイトは次のとおりです。
https://www.e-stat.go.jp/stat-search/files?page=1&toukei=00100405&tstat=000001014549
欲しい情報(href属性)をもつタグの抽出が目的なのですが,コードは次のとおりです。
import requests
from bs4 import BeautifulSoup
from lxml import html
#抽出したいタグ用xpath(ダウンロードファイル在中階層)
target_xpath = '//a[contains(text(),"主要耐久消費財等の普及・保有状況")]/parent::div/following-sibling::div[3]/div/a[contains(@data-file_type,"CSV")]'
#各年度のデータへの入り口が掲載されているurl
cause_url = "https://www.e-stat.go.jp/stat-search/files?page=1&toukei=00100405&tstat=000001014549"
#各年度のデータに入る際へのベースとなるurl
base_url = "https://www.e-stat.go.jp/stat-search/files?page=1&layout=datalist&toukei=00100405&tstat=000001014549&cycle=0"
#各年度のデータへの入り口が掲載されているurlのサイトデータ取得
response = requests.get(cause_url)
#文字化けの防止
response.encoding = response.apparent_encoding
#各年度データへの入り口が掲載されているサイトの解析
soup = BeautifulSoup(response.content, "html.parser")
#各年度データへの入り口が掲載されているサイトのurlからdata-value値を取得
for span in soup.find_all('span', attrs={'data-value1': True, 'data-value2': True}):
if '3月調査' in span.text:
val1 = "&tclass1=" + str(span['data-value1'])
val2 = "&tclass2=" + str(span['data-value2'])
#追加用urlの作成
add_url = val1 + val2 + "&tclass3val=0"
#各年度データページへのロード用url
load_url = base_url + add_url
#ダウンロード先webページの解析(pathの取得手段が面倒なためxpathを使用)
load_request = requests.get(load_url)
load_html = load_request.text
load_root = html.fromstring(load_html)
#必要要素を抽出
seeking_tag = load_root.xpath(target_xpath)
print(seeking_tag)
出力結果
[<Element a at 0x2584b9b1040>, <Element a at 0x2584b9b17c0>, <Element a at 0x2584b9b1d60>]
[<Element a at 0x2584b92e680>, <Element a at 0x2584b92e2c0>, <Element a at 0x2584b9b9db0>]
[<Element a at 0x2584c3b5e50>, <Element a at 0x2584c3b5c70>, <Element a at 0x2584cf82f40>]
[<Element a at 0x2584c81a590>, <Element a at 0x2584c81a5e0>, <Element a at 0x2584cd2def0>]
[<Element a at 0x2584cf82db0>, <Element a at 0x2584c518b80>, <Element a at 0x2584c518360>]
[<Element a at 0x2584b92e090>, <Element a at 0x2584cf82f40>, <Element a at 0x2584cf82860>]
[<Element a at 0x2584c81a0e0>, <Element a at 0x2584b92e680>, <Element a at 0x2584b92e2c0>]
[<Element a at 0x2584c81a5e0>, <Element a at 0x2584b9b99a0>, <Element a at 0x2584b9b9db0>]
[]
[<Element a at 0x2584c5184a0>, <Element a at 0x2584c81a590>, <Element a at 0x2584c81a5e0>]
[]
[<Element a at 0x2584c81a0e0>, <Element a at 0x2584b92e680>, <Element a at 0x2584b92e2c0>]
[<Element a at 0x2584b92e090>, <Element a at 0x2584b9b17c0>, <Element a at 0x2584b9b10e0>]
[<Element a at 0x2584c3b5e50>, <Element a at 0x2584cd2def0>, <Element a at 0x2584cd2dd60>]
[<Element a at 0x2584b92e2c0>, <Element a at 0x2584b92e680>, <Element a at 0x2584c3b5c70>]
[<Element a at 0x2584c5184a0>, <Element a at 0x2584cd2def0>, <Element a at 0x2584cd2dd60>]
[<Element a at 0x2584c3b5c70>, <Element a at 0x2584c518b80>, <Element a at 0x2584b9b19a0>]
[<Element a at 0x2584c81a5e0>, <Element a at 0x2584c81a0e0>, <Element a at 0x2584b9b99a0>]
出力結果は一応出たのですが,この読み方がわかりません。誰かご教授お願い致します。またベストな抽出方法があればそれについてもご教授願います。(pythonによる方法で)