最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
- AmazonのトップページのURLを開く
- ログインする
- 注文履歴を開くボタンをクリックする
- 注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
history_url = browser.current_url
res = requests.get(history_url)
soup = BeautifulSoup(res.text,'html.parser')
と書き、確認のためsoup.titleでタイトルを確認したところ
Amazonサインイン と言う結果になってしまいました。本来であれば「注文履歴」となって欲しかったのです。試したこと
request_htmlのrenderをつかってページのHTMLを生成してみるも同じ結果となりました。
プログラミング自体2ヶ月目の初心者で、説明が不十分、コードがむちゃくちゃといったことがあるかと思いますが、回答の方よろしくお願いします。
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from time import sleep
#配列や変数の定義
data = []
MAIL = '*****'
PASS = '*****'
#ヘッドレスモード実装
#options = Options()
#options.add_argument('--headless')
#ブラウザを開いてリンクに飛ぶ
browser = webdriver.Chrome()
url = 'https://www.amazon.co.jp/ap/signin '....(Amazonトップページurl)
browser.get(url)
#ログインボックスに情報を入力
element = browser.find_element_by_id("ap_email")
element.clear()
element.send_keys(MAIL)
login_user = browser.find_element_by_id('continue')
login_user.click()
sleep(2)
element = browser.find_element_by_id('ap_password')
element.clear()
element.send_keys(PASS)
login_pass = browser.find_element_by_id('signInSubmit')
login_pass.click()
sleep(1)
try:
mobile_skip = browser.find_element_by_id('ap-account-fixup-phone-skip-link')
mobile_skip.click()
except:
pass
sleep(1)
#注文履歴ボタンをクリック
elem_order = browser.find_element_by_id('nav-orders')
elem_order.click()
#注文履歴ページのhtml情報を取得
history_url = browser.current_url
res = requests.get(history_url)
soup = BeautifulSoup(res.text,'html.parser') ```
requests
では出来無さそうです。Using python Requests with javascript pages