-1

Python3とSelenium, openpyxlを使ってExcelのデータを読み込みYahoo! 乗換案内の検索をしています。

各駅を検索したらExcelのD列に処理済みの結果を記載しています。
WEB上で検索できない場合、
エラーが表示されたらループを抜けて、次のループに(日暮里)進み
下記のようにフラグに処理済みのデータを記載したいです。
エラーした場合処理済みのフラグを記載しないようにしたいです。

Excelデータ(実現内容)

No 駅2 フラグ
1 東京 品川 処理済み
2 原宿 原宿
3 日暮里 秋葉原 処理済み
4 東京 原宿 処理済み
5 池袋 @@@

tryでWEB側でエラーを検知して下記のコードに入れてみましたが、
実現したい処理と上手く処理できず、
全てのデータに処理済みと記載されます。
ifには検索後にタイトルを取得すれば処理済みのフラグを記載するように組みました。

eleseのようにエラーしたら処理済みを記載しないようにプログラムを記載
しましたが何故か全てのデータに処理済みと記載されます。

ご指導をお願いできますでしょうか。

   try:#タイトルを取得
        message = driver.find_element_by_xpath('//*[@id="cat-pass"]').text
        print(message)
        #Print結果:路線情報トップ > ルート、運賃検索結果
    except:
         print("error")   

    if "路線情報トップ > ルート、運賃検索結果"== message:

        # 処理済みのでデータをD列へ入力
        df.loc[i,'フラグ']='処理済み'
        print("処理済み・書込み")   

        #EXCEL保存 
        df.to_excel("test.xlsx", header=False, index=False)

    else:
        print("エクセルへフラグ記載しない")

Excelデータ(現在の結果)

No 駅2 フラグ
1 東京 品川 処理済み
2 原宿 原宿 処理済み
3 日暮里 秋葉原 処理済み
4 東京 原宿 処理済み
5 池袋 @@@ 処理済み

code

# Excel用ライブラリ読込
import openpyxl
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.select import Select  
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
import pyautogui
import pandas as pd


# Excelファイルを開く
v_wb = openpyxl.load_workbook("test.xlsx")

# アクティブなシートを変数へ
v_ws = v_wb.active
# シートのロード
ws = v_wb.worksheets[0]

# convert to pandas dataframe
df = pd.DataFrame(ws.values)
print("test")
print(df)


# generate search words 
# sort=False データソートせずにエクセル順番で行う
lst = df.iloc[0:,1:].values
print(lst)
df['フラグ'] = ''

URL = "https://transit.yahoo.co.jp/"

# ブラウザを開く。 #options=option background 
options = Options()
options.add_experimental_option('detach', True)
driver = webdriver.Chrome(executable_path="C:\\Program Files\\chromedriver_win32\\chromedriver.exe", options=options)

#ループ処理の部分とエクセルへの書き込み処理(行)が合っていないので、
#row = 1を追加

for i, query in enumerate(lst):
    # Googleの検索TOP画面を開く。
    if i > 0:
      driver.execute_script('window.open()')
    driver.switch_to.window(driver.window_handles[i])
    driver.get(URL)

    # 2秒待機
    time.sleep(2)

    # from
    fromid = driver.find_element_by_name("from")
    fromid.send_keys(query[0])

   # to
    to = driver.find_element_by_name("to")
    to.send_keys(query[1])

   #search
    time.sleep(2)
    pyautogui.press(['enter'])

 
    try:#タイトルを取得
        message = driver.find_element_by_xpath('//*[@id="cat-pass"]').text
        print(message)
        #Print結果:路線情報トップ > ルート、運賃検索結果
    except:
         print("error")   

    if "路線情報トップ > ルート、運賃検索結果"== message:

        # 処理済みのでデータをD列へ入力
        df.loc[i,'フラグ']='処理済み'
        print("処理済み・書込み")   

        #EXCEL保存 
        df.to_excel("test.xlsx", header=False, index=False)

    else:
        print("エクセルへフラグ記載しない")

7
  • 2
    Python は文法上「インデント」が重要な役割を果たします.基本的にどんな言語でも1つのスクリプトの中ではインデント幅(4スペースなのか,8スペースなのか,タブ文字なのか)を揃えるべきですが,Python では特にバグの原因になりがちです.本件の根本原因がインデントの問題かはわかっていないですが,continue のところはインデックスが if cheap == "[安]料金の安い順": の行とくらべて1スペースしか深くなっていないのはトラブルの元なので,まずスクリプト全体でインデントサイズを揃えることをおすすめします.
    – wtsnjp
    2021年9月16日 9:02
  • @metropolis さん 回答ありがとうございます。Message: no such element: Unable to locate element:確かにこちらの原因です。ただ検索すると他にエラーメッセージが表示される可能性があるのでどんなエラーメッセージが表示されても、次の行へループさせたいですが、可能でしょうか。
    – 幸589
    2021年9月16日 13:25
  • @metropolis さんlst = df.iloc[1:,1:].valuesの指摘ありがとうございます。try-elseでエラーを検知して実現したい内容あともう少しできそうですが、実現したい処理と上手く処理できず、エラーした場所の原宿池袋に処理済みと記載されます。その逆でエラーしていない箇所に処理済みを記載したいです。もし分かれば教えていただけるとありがたいです。 宜しくお願い致します。
    – 幸589
    2021年9月21日 3:14
  • 度々、すいません。try-expept-elseのように入れてみましたが、今度はD列へなにも記載されなくなりました。
    – 幸589
    2021年9月21日 3:51
  • @metropolis さん 回答ありがとうございます。ただ上記のように5行目に池袋``@@@を入れると 「@@@」に該当する目的地はありませんでした。の別のエラー発生します。 WEBサイト側でどんなエラーが発生してもtry 〜 catch で対応させたいので入れました。分かりにくくて、すいません。
    – 幸589
    2021年9月21日 4:04

2 件の回答 2

1

原因はmessageの中に以前に行われた正常な処理結果が残ったままだからですね。

以下のようにtry ... except ...の前にmessageをクリアするか:

    message = '' #### 空文字列でクリアしておく
    try:#タイトルを取得
        message = driver.find_element_by_xpath('//*[@id="cat-pass"]').text
        print(message)
        #Print結果:路線情報トップ > ルート、運賃検索結果
    except:
        print("error")

こちらのように処理済みの書き込みをtry ... except ...の中に組み込めば良いでしょう。

    try:#タイトルを取得
        message = driver.find_element_by_xpath('//*[@id="cat-pass"]').text
        print(message)
        #Print結果:路線情報トップ > ルート、運賃検索結果
        if "路線情報トップ > ルート、運賃検索結果"== message:
            # 処理済みのでデータをD列へ入力
            df.loc[i,'フラグ']='処理済み'
            print("処理済み・書込み")   
        else:
            print("エクセルへフラグ記載しない")
    except:
        print("error")

それからいずれにしてもExcelへの書き込みは1件毎に行うのではなく、forループが終了してからまとめて行う方が良いでしょう。

#EXCEL保存 
df.to_excel("test.xlsx", header=False, index=False)

ちなみにExcel読み込み時のv_wb = openpyxl.load_workbook("test.xlsx")からdf['フラグ'] = ''までの処理だとNo 駅 駅2 フラグのヘッダー行がデータ行の一部として取り込まれたり、そのためフラグが列として認識されず欄がクリアされないので、元のExcelのフラグ列にデータがあるとクリアされなかったり、処理済みが書き込めなかったりしますので見直しておいた方が良いでしょう。

例えば質問の内容だとOpenPyXLでの処理は不要なので、読み書き両方ともpandasで行うとか。
読み込み:

df = pd.read_excel("test.xlsx")

書き込み

df.to_excel("test.xlsx", index=False)
1
  • 丁寧な回答ありがとうございます。こちらの方法も参考して次回から上記のように組みたいと思います。
    – 幸589
    2021年10月1日 8:42
0

下記の方法で「if "路線情報トップ > ルート、運賃検索結果"== message:」では条件分岐できていないので、そのコードから無くして
tryexceptelseの順番に指定して希望の操作でできました。

FOR文からのコード

for i, query in enumerate(lst):
    # Googleの検索TOP画面を開く。
    if i > 0:
      driver.execute_script('window.open()')
    driver.switch_to.window(driver.window_handles[i])
    driver.get(URL)

    # 2秒待機
    time.sleep(2)

    # from
    fromid = driver.find_element_by_name("from")
    fromid.send_keys(query[0])

   # to
    to = driver.find_element_by_name("to")
    to.send_keys(query[1])

   #search
    time.sleep(2)
    pyautogui.press(['enter'])

 
    try:#タイトルを取得
        message = driver.find_element_by_xpath('//*[@id="cat-pass"]').text
        print(message)
        #Print結果:路線情報トップ > ルート、運賃検索結果
    except:
         print("error")   

    else:
        print("処理済み・書込み") 

        # 処理済みのでデータをD列へ入力
        df.loc[i,'フラグ']='処理済み'

        #EXCEL保存 
        df.to_excel("test.xlsx", header=False, index=False)

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。