Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
以前に試した方法として、以下のようなものをテンプレートにしているのですが、エラーは起きないのですが、うまく取得できません。
#保存用
driver_path = r'C:\Anaconda3\chromedriver.exe'#自分のChoromedriverの場所
#読み込みたいフォルダの場所
URL = 'https://nintei.nurse.or.jp/certification/General/(X(1)S(efl0y555pect3x45oxjzfw3x))/GCPP01LS/GCPP01LS.aspx'
#格納したいフォルダの場所
send_path = r'C:\Users\akira\Documents\Python\会社'
from selenium import webdriver
import time
import bs4
import re
import os
import time
import shutil
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
start = time.time()
driver = webdriver.Chrome(driver_path)
driver.get(URL)
time.sleep(3)
soup = bs4.BeautifulSoup(driver.page_source, 'html5lib')
base = 'https://nintei.nurse.or.jp/certification/General/'
soup_file1 = soup.find_all('a')
href_list = []
file_num = 1
sum_file = 1
cc = 0
for s in soup_file1:
if s.string=='検索':
path = base+s.get('href')
href_list.append(path)
print(path)
driver.get(path)
WebDriverWait(driver, 300).until(EC.element_to_be_clickable((By.XPATH,'//*[@id="ctl00_plhContent_btnSearchMain"]')))
driver.find_element_by_xpath('//*[@id="ctl00_plhContent_btnSearchMain"]').click()
while sum_file == file_num :
sum_file = len(os.listdir(r'C:\Users\akira\Downloads'))
else:
print("現在のダウンロードファイル数_{}枚".format(sum_file-1))
file_num += 1
cc += 1
#一時ファイルが邪魔をする場合があるので時間を少し開ける
time.sleep(60)
#ファイルの移動
dw_path = r'C:\Users\akira\Documents\Python\会社'
dw_list = os.listdir(dw_path)
dw_xlsx = [f for f in dw_list]
for dw in dw_xlsx:
shutil.move(r'C:\Users\akira\Documents\Python\会社')