0

現在、下のサイトのイベント上位者のデッキデータを収集しようとしています。
そのため、「デッキをみる」と表示されるリンクを取得したいと考えています。

https://players.pokemon-card.com/event/detail/262812/result

そこで、google colabにて以下のコードを実行しましたが、肝心の「デッキをみる」のリンク等を取得できませんでした。
どなたか、原因や対処方法等がわかる方がいましたら、ご教示いただけますと幸いです。

#SeleniumとBeautifulSoupのライブラリをインポート
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
# ブラウザをheadlessモード(バックグラウンドで動くモード)で立ち上げてwebsiteを表示、生成されたhtmlを取得し、BeautifulSoupで綺麗にする。
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(
    options=options
)
driver.implicitly_wait(10)
driver.get("https://players.pokemon-card.com/event/detail/262812/result")
html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
print(soup.prettify())
1
  • pokemon-card.com の案内には「このサイトからは、データのコピー、複製、改変、出版、掲示、電送、配布することは固くお断りします。」とありますのでスクレイピングは禁止行為になるのではないでしょうか?
    – merino
    Commented 1月19日 10:53

1 件の回答 1

1

肝心の「デッキをみる」のリンク等を取得できませんでした。

find_elements() メソッドを使用してリンクを抽出します。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
driver = webdriver.Chrome(
    options=options
)
driver.implicitly_wait(10)
driver.get("https://players.pokemon-card.com/event/detail/262812/result")

decks = driver.find_elements(By.CSS_SELECTOR, "td.deck > a")   
for i in decks:
    print(i.get_attribute('href'))

# https://www.pokemon-card.com/deck/confirm.html/deckID/k5dkFF-G5HwI4-dVVkkF
# https://www.pokemon-card.com/deck/confirm.html/deckID/LggLgL-zBmFWE-nNHgPn
# https://www.pokemon-card.com/deck/confirm.html/deckID/a884xJ-4XohMb-Dcx4J4
# https://www.pokemon-card.com/deck/confirm.html/deckID/nQgLHn-r5on4x-HiQLgL
# https://www.pokemon-card.com/deck/confirm.html/deckID/LNNLgL-criUOl-QLHnPn
# https://www.pokemon-card.com/deck/confirm.html/deckID/84xxKG-Fk7xhp-484x8c
# https://www.pokemon-card.com/deck/confirm.html/deckID/VV5k1k-MBRCf8-kF5FVV
# https://www.pokemon-card.com/deck/confirm.html/deckID/5FkVVv-Kp59XF-V15vF5

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。