ウェブサイト上での情報の持ち方/見せ方は千差万別であり、同じような目的で同じ業者が作成しているとかならともかく、別々のサイトに適用できる テンプレート と言えるようなものは存在しないでしょう。
何らかの テンプレート が存在する(適用できる)という考えは捨てて、対象サイトの内容/構成を調べる所から始めてください。
- 該当のページでは、特に指定しない限り初期値では「全て」の情報を取得出来るようです。
「認定看護師」「認定看護管理者」「専門看護師」の分類を指定して「検索」することで全てを取得出来るでしょう。 - ただしそれぞれ1回の表示では50件だけですので、「次」ボタンをクリックして表示を進める必要があります。
提示されたソースではa
タグのリストを取得してループし、その中で「検索」ボタンをクリックしていますが、それはこのページの内容に合っていません。 - そのため、これら全てを一気に取得する方法 は 無い でしょう。
現時点で「認定看護師」は20721件登録されており、415ページ分ループが必要です。
何らかの方法で1度に取得できる可能性はありますが、おそらくそれは非公開であり、継続して使用できるとは限らないでしょう。
参考:
正規に全データが公開されている例:(Excelシートでダウンロード可)
情報処理安全確保支援士検索サービス
裏技でデータ取得出来る例:(コメントに裏技が紹介されている)
Python スクレイピング テーブル取得不可
スクレイピングによる取得の参考情報も私が回答しています。
seleniumでスクレイピング(次のページ対応)
考え方としては、以下のようになるでしょう。
base = 'https://nintei.nurse.or.jp/certification/General/'
以後は全面的に見直す- 初回は
driver.find_element_by_xpath('//*[@id="ctl00_plhContent_btnSearchMain"]').click()
で取得 - データはSeleniumかBeautifulSoupを使って
'//*[@id="ctl00_plhContent_dlvMain"]'
のXPathで取り出す(使いやすいと思う別の方法があればそれを使う)
前後ページへのリンクや項目名等もテーブルに入っているので不要なら削っておく - 次ボタンクリックは
driver.find_element_by_xpath('//*[@id="page_navi_wrapper"]/ul/li[9]/a').click()
を使う - 最後まで表示してさらに次へ行こうとするとelementが無くて例外になるので、事前にelementの有無を確認するか、
try: except:
で例外検出してループを終了する