PythonでWEBページをスクレイピングしたいです。
サイトから航空会社(コードシェア)などのフライト情報を取得したいと考えています。
Selenium・BeautifulSoupで以下のコードを試してみたのですが、航空会社(コードシェア)だけが取得できません。
コードのどこがいけないのかスクレイピングに詳しい方教えていただけませんでしょうか。
HTML
<div class="flight-codeshare"><ul><li><span class="flight-tail"><img src="/sys-assets/img/flight/airline/ANA-tail.png" alt="" class="fluid-image"></span><span class="flight-code">ANA3166</span></li></ul></div>
一部のコード、"ANA3166" を取得したいです。
# 航空会社(コードシェア)
fa = li.select_one('span.flight-codeshare')
data['航空会社(コードシェア)'] = fa.text if fa else ''
全体コード
import pandas as pd
import time
from datetime import datetime as dt, date, timedelta
from dateutil.relativedelta import relativedelta
from selenium import webdriver
from bs4 import BeautifulSoup
from webdriver_manager.chrome import ChromeDriverManager
file_time= dt.now().strftime("%Y%m%d")
today= dt.now().strftime("%Y/%m/%d")
#保存ファイル指定
file="test"+file_time+".csv"
#url指定
url = 'https://www.centrair.jp/flight/search/?da=A&id=D&fd=20220510'
driver = webdriver.Chrome(executable_path=ChromeDriverManager().install())
#driver = webdriver.Chrome(executable_path="C:\selenium\chromedriver.exe")
#フライ情報のサイトを開く
driver.get(url)
#5秒待機
time.sleep(5)
#BeautifulSoup指定
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, 'html.parser')
tbl = []
for li in soup.select('div.js-flight-search-result ul li'):
data = {}
# 定刻[変更]
ft = li.select_one('span.flight-time-init')
if ft is None: continue
data['定刻[変更]'] = ft.text
ct = li.select_one('span.flight-changetime')
if ct: data['定刻[変更]'] += f'\n{ct.text}'
# 出発地[経由]
st = li.select_one('span.flight-destination')
data['出発地[経由]'] = st.text if st else ''
#便名
fn = li.select_one('span.flight-airline')
data['便名'] = fn.text if fn else ''
# 航空会社(コードシェア)
fa = li.select_one('span.flight-codeshare')
data['航空会社(コードシェア)'] = fa.text if fa else ''
# ターミナル
term = li.select_one('span[class*=flight-terminal]')
data['ターミナル'] = term.text if term else ''
# 機種
model = li.select_one('span.flight-status-text02')
data['機種'] = model.text.split(':')[-1].strip() if model else ''
# 現在の状況
status = li.select_one('span.flight-status-icon')
data['現在の状況'] = status.text if status else ''
#
tbl.append(data)
df = pd.DataFrame(tbl)
print(df)
# #Excel形式でハルエネ出力-------------------
# #df.to_excel(file,index=False,encoding='utf-8')
df.to_csv(file,index=False,encoding="utf_8_sig")
お手数ですが、よろしくお願い致します。