Python3.10.2とseleniumを使用しています。
商品コードを入力、表示された在庫数をスクレイピングしてCSVに保存、という流れなのですが、商品数が増えてきたので、ループ処理に変更したく思っています。
ループしたい処理は下記になります。
send_data(n)を1~4000ぐらいまで増やしていく処理ができないか考えています。
なおsend_dataには商品のコードが事前に格納されています。
ご教示のほどよろしくお願いいたします。
driver.find_element_by_name("ban01").send_keys(send_data1)
driver.find_element_by_name("ban02").send_keys(send_data2)
driver.find_element_by_name("ban03").send_keys(send_data3)
driver.find_element_by_name("ban11").send_keys(send_data4)
driver.find_element_by_name("ban12").send_keys(send_data5)
driver.find_element_by_name("ban13").send_keys(send_data6)
driver.find_element_by_name("ban21").send_keys(send_data7)
driver.find_element_by_name("ban22").send_keys(send_data8)
driver.find_element_by_name("ban23").send_keys(send_data9)
driver.find_element_by_name("ban31").send_keys(send_data10)
driver.find_element_by_name("ban32").send_keys(send_data11)
driver.find_element_by_name("ban33").send_keys(send_data12)
driver.find_element_by_name("ban41").send_keys(send_data13)
driver.find_element_by_name("ban42").send_keys(send_data14)
driver.find_element_by_name("ban43").send_keys(send_data15)
driver.find_element_by_name("ban51").send_keys(send_data16)
driver.find_element_by_name("ban52").send_keys(send_data17)
driver.find_element_by_name("ban53").send_keys(send_data18)
driver.find_element_by_name("ban61").send_keys(send_data19)
driver.find_element_by_name("ban62").send_keys(send_data20)
driver.find_element_by_name("ban63").send_keys(send_data21)
driver.find_element_by_name("ban71").send_keys(send_data22)
driver.find_element_by_name("ban72").send_keys(send_data23)
driver.find_element_by_name("ban73").send_keys(send_data24)
driver.find_element_by_name("ban81").send_keys(send_data25)
driver.find_element_by_name("ban82").send_keys(send_data26)
driver.find_element_by_name("ban83").send_keys(send_data27)
driver.find_element_by_name("ban91").send_keys(send_data28)
driver.find_element_by_name("ban92").send_keys(send_data29)
driver.find_element_by_name("ban93").send_keys(send_data30)
time.sleep(3)
driver.find_element_by_xpath("送信ボタンのxpath").click()
time.sleep(3)
list0 =[driver.find_element_by_xpath("商品名0").text, driver.find_element_by_xpath("商品名0の在庫数").text,send_data1,send_data2,send_data3]
list1 =[driver.find_element_by_xpath("商品名1").text, driver.find_element_by_xpath("商品名1の在庫数").text,send_data4,send_data5,send_data6]
list2 =[driver.find_element_by_xpath("商品名2").text, driver.find_element_by_xpath("商品名2の在庫数").text,send_data7,send_data8,send_data9]
list3 =[driver.find_element_by_xpath("商品名3").text, driver.find_element_by_xpath("商品名3の在庫数").text,send_data10,send_data11,send_data12]
list4 =[driver.find_element_by_xpath("商品名4").text, driver.find_element_by_xpath("商品名4の在庫数").text,send_data13,send_data14,send_data15]
list5 =[driver.find_element_by_xpath("商品名5").text, driver.find_element_by_xpath("商品名5の在庫数").text,send_data16,send_data17,send_data18]
list6 =[driver.find_element_by_xpath("商品名6").text, driver.find_element_by_xpath("商品名6の在庫数").text,send_data19,send_data20,send_data21]
list7 =[driver.find_element_by_xpath("商品名7").text, driver.find_element_by_xpath("商品名7の在庫数").text,send_data22,send_data23,send_data24]
list8 =[driver.find_element_by_xpath("商品名8").text, driver.find_element_by_xpath("商品名8の在庫数").text,send_data25,send_data26,send_data27]
list9 =[driver.find_element_by_xpath("商品名9").text, driver.find_element_by_xpath("商品名9の在庫数").text,send_data28,send_data29,send_data30]
with open(r "CSVのパス\zaiko.csv",'a', encoding="shift-jis", newline='') as f:
writer = csv.writer(f, lineterminator='\n')
writer.writerow(list0)
writer.writerow(list1)
writer.writerow(list2)
writer.writerow(list3)
writer.writerow(list4)
writer.writerow(list5)
writer.writerow(list6)
writer.writerow(list7)
writer.writerow(list8)
writer.writerow(list9)
以下は解決済。ありがとうございます。
コメントにて返信しましたが、わかりにくかったのでこちらにも追記いたします。
いただいたものを組み込むと以下のエラーとなりました。
>>> max = 10#任意の最大値
>>> n = 1
>>> while n<max :
... n += 1
...
... driver.find_element_by_name("ban01").send_keys(exec("send_data"+str(n)))
File "<stdin>", line 4
driver.find_element_by_name("ban01").send_keys(exec("send_data"+str(n)))
^^^^^^
SyntaxError: invalid syntax
以前にもselenium内で演算などを行うとinvalid syntaxが出た覚えがあります。
当時もdriverに指摘が入っているのがよくわからなった記憶です。
ご教示のほどよろしくお願いいたします
現在は以下のエラーと格闘中です。
TypeError: object of type 'NoneType' has no len()
>>> MNum = 10
>>> n = 1
>>> while n < MNum :
... n += 1
...
... driver.find_element_by_name("ban01").send_keys(exec("send_data"+str(n)))
略
TypeError: object of type 'NoneType' has no len()
さまざまなご提案ありがとうございます。
この問題をややこしくしている、いくつかの情報を追加いたします。
1)ひとつの商品につき、商品コードを3つに分けて入力する仕様になっています。banXXのx1, x2, x3はその並びを意味します。
2)一度に検索できる上限がban0x~ban9xまでの10個になります。
3)ここには記載がありませんが、ID&PWによるログイン、およびランダム時間でタイムアウトがあり、再ログインの処理があります。
SyntaxError: invalid syntax
のエラーになったのは、該当のdriver.find_...
の行がインデント無しで入力されているからです。その上の行と同様に行の先頭に空白が2桁入っていれば正常に動作するはずです。exec()
は何をするためのものでしょう?というのが肝心ですね。そもそも不要なのでは? 【Python】send_keys・・・キーボード入力をする(通常キー), 【Python】send_keys・・・キーボード入力をする(特殊キー)exec('driver.find_element_by_name("ban01").send_keys("send_data"+str(n))')
など試してみましたが、ban01要素に"send_data1"という文字列(send_data1に格納したデータではない)が入力されるのみでした。evalを試したところ、ban01にsend_data1~のデータが詰め込まれているような挙動(入力上限があるのでそれっぽいとしかいえませんが)でした。このへんでもなにかできないか試してみたいと思います。