対象のウェブページの HTML ソースを眺めてみると、ランキングの部分は JavaScript で動的に生成しています。
<script id="ranking-row-html_ind" type="text/html">
<div class="row ind-row">
:
なので、div
要素がレンダリングされるまで待つとよろしいかと思います。
以下は Selenium 4.0.0
, BeautifulSoup4 4.10.0
を使用していますが、Selenium 4
から API の一部が変更されています。また、headless
モードを指定しています。
from selenium import webdriver
from selenium.webdriver.chrome import service as cs
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
chrome_service = cs.Service(executable_path='/usr/local/bin/chromedriver')
opts = webdriver.ChromeOptions()
opts.headless = True
driver = webdriver.Chrome(service=chrome_service, options=opts)
url='https://www.topuniversities.com/university-rankings/university-subject-rankings/2020/arts-humanities'
driver.get(url)
# wait until div tag rendered
WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CLASS_NAME, 'ind-row')))
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
found = soup.find('div', class_='tab-content')
s = found.find('div', id='ranking-data-load_ind')
a = s.findAll('div', class_='row ind-row')
print(a)
# 出力結果
[<div class="row ind-row">
<div class="col-lg-12">
<div class="_qs-ranking-data-header-new-white">
<div class="row">
<div class="col-lg-5 _right_background">
: