Ubuntu+Python+SeleniumでChromeを自動化し、Saveボタンをクリックしてファイルをローカルに保存するところまで出来ましたが、このファイル名が手動で制御出来ず、取得元のサイトが検索ワードに基づいて付けた適当な名前になります。
この、たった今保存されたファイルのファイル名をPythonで取得する場合、どの方法が賢いでしょうか。
ディレクトリを検索し、正規表現でファイル名に合致したリストを得て、最も新しいものがそれだ、というのを考えましたが、たぶんあるあるの事例だと思いますので、より良い方法がありましたらご教示くだされば幸いです。
-
1Chrome依存で対象ファイルが一つだけなら専用の一時ダウンロードフォルダを作成して指定するやり方があるようです。記事はWindows環境のようですが。Python Selenium 動的なダウンロード完了待機– kunifCommented 2021年6月24日 10:14
-
ありがとうございます! *.crdownloadたしかに出来ます! ダウンロードが終わったかの監視も分からなくてなんとなく30秒待っていたので超助かります! Ubuntuに移植して動作するか確認します。– Chihiro FukazawaCommented 2021年6月24日 10:25
-
ファイル名が (web サイト側で) 毎回任意の名前で決められている、ということでしょうか?差し支えない範囲で再現できる実際のコードも質問中に含まれていると、具体的なアドバイスが付けやすくなると思います。– cubick ♦Commented 2021年6月24日 11:35
-
おっしゃる通りです。保存ボタンしかなく、ファイル名を入力したり、ファイル位置を指定するダイアログボックスが出ず、いきなり決め打ちの名前で指定場所(Seleniumの場合は作業ディレクトリ)に出来てしまうんです。kunifさんのくださったヒントで問題を解決しました。ありがとうございます。– Chihiro FukazawaCommented 2021年6月25日 2:45
コメントを追加
|
2 件の回答
Ubuntu+Python+Selenium
ご質問の前提条件から外れてしまいますが、 Selenium ではなく Puppeteer であれば、直接ダウンロードするパスとファイル名を指定する方法があります。
→ puppeteer でファイルをダウンロードするときに、任意のパスと名前で保存する | Aqua Ware つぶやきブログ
上記の記事は、 node.js + Puppeteer の例ですが、 pyppeteer を使うことで、以下のように Python でも同様の結果が得られます。
import os
import asyncio
# Fetch.enable に対応している Chromeimum リビジョンを指定
os.environ['PYPPETEER_CHROMIUM_REVISION'] = '884014'
import pyppeteer
event_loop = asyncio.get_event_loop()
async def main(file_name, headless=True, wait_time=5.0):
b = await pyppeteer.launch({'headless': headless})
p = await b.newPage()
await p.goto('https://github.com/pyppeteer/pyppeteer')
e = await p.querySelector('get-repo')
await e.click()
client = await p.target.createCDPSession()
await client.send('Page.setDownloadBehavior', { 'behavior': 'allow', 'downloadPath': os.getcwd() })
await client.send('Fetch.enable', { 'patterns': [ { 'urlPattern': '*', 'requestStage': 'Response' }] })
async def onRequestPaused(requestEvent):
responseHeaders = [v for v in requestEvent['responseHeaders'] if v['name'] != 'content-disposition']
requestId = requestEvent['requestId']
if requestEvent['responseStatusCode'] == 200:
responseHeaders.append({ 'name': 'content-disposition', 'value': f'attachment; filename="{file_name}"'})
response = await client.send('Fetch.getResponseBody', { 'requestId': requestId })
await client.send('Fetch.fulfillRequest', { 'requestId': requestId, 'responseCode': 200, 'responseHeaders': responseHeaders, 'body': response['body'] })
else:
await client.send('Fetch.continueRequest', { 'requestId': requestId });
client.on('Fetch.requestPaused', lambda e: asyncio.ensure_future(onRequestPaused(e), loop=event_loop))
# Github の "Download ZIP" のボタンをクリック
e = await p.querySelector('a[href$=".zip"]')
await e.click()
await asyncio.sleep(wait_time)
await client.send('Fetch.disable')
await b.close()
event_loop.run_until_complete(main(file_name='specified_name.zip', headless=False))
Windows および WSL 上の Ubuntu で動作確認済みです。
pyppeteer のオリジナルが node.js であることから、基本非同期な API となっているため、 Selenium の同期的な API に慣れていると、扱いづらいとは思います。
参考になれば。
-
1ここ 2~3年ほど α版, β版が続いている Selenium 4 であれば、 Puppeteer と同様 WebDriver が不要になり、 Chrome DevTools Protocol や Remote Debugging Protocol へのアクセスがフルサポートされます。このため、同等の操作ができるようになりそうですが、正式リリース前でドキュメントが揃っていないのもあって、イベントハンドラを登録する方法がパッと見つかりませんでした。もしかしたら Selenium 4 ならできるかもしれません。– longerCommented 2021年6月25日 0:19
-
ありがとうございます! なんとなくSeleniumをバッドハックして出来てしまいましたので、今回はこのまま進みますが、今回問題があれば、あるいは将来的にpyppeteerやSelenium 4を使うことも検討します。 ありがとうございました。 Commented 2021年6月25日 2:43
コメントでお示しいただいた、以下の記事を参考に解決しました。
実は表題の問題の他に、ダウンロードの終了を関知できないという問題もあったのですが、同時に解決してハッピーです。
拙ソースを掲げます。
守秘義務の関係でぼかしていますが、以下の条件とします。
https://foo.example.com/
というサイトを検索する- barbarbar、bazbazbazというワードで検索する
- 検索結果はfoo_search_*.txtという名前で保存される(*の部分はbarbarb~1のような、検索ワードを元にした短縮した名前になるようだ?)
プログラムの要点は以下の通りです。
- glob.glob関数を使って、foo_search_*.txt.crdownloadというファイルがあるかぎり、1秒待ちながらループする
- ループの中で、foo_search_*.txt.crdownloadから.crdownloadを削除してファイル名を得る
- ループを脱出した場合は、ダウンロードが終わったか、そもそもダウンロードが行えなかったかであるので、適当に処理する
#! /usr/bin/python3
import glob
import time
from selenium import webdriver
from selenium.webdriver.common.by import By # for find_element_by_ID
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.common.keys import Keys
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=options)
wait = WebDriverWait(driver, 10) # wait.untilの秒数の上限
driver.get('https://foo.example.com/') # 検索サイト
print(driver.title)
def search_and_save(search_term):
element =
wait.until(expected_conditions.visibility_of_element_located((By.ID, "search_term_id"))) # 検索ボックスが表示されるのを待つ
element.send_keys(Keys.CONTROL + "a")
element.send_keys(Keys.DELETE)
element.send_keys(search_term) # 検索ワードを入力してサブミット
element.submit()
driver.find_element_by_class_name("search-submit").click()
new_file = 'ERROR' + search_term # ダウンロードするファイル名、最初はエラー名にしておく
for i in range(30): # MAX30秒待つ
download_fileName = glob.glob(f'foo_search_*.txt.crdownload') # crdownloadを探す
if download_fileName: # crdownloadがあれば
new_file = download_fileName[0].replace('.crdownload', '') # crdownloadを削除したものでnew_fileを置き換える
time.sleep(1) # 1秒待つ
else: # crdownloadがない。downloadが終わったかそもそも始まってなかった
break
print('new_file:' + new_file) # ダウンロードが正常に終わっていればそのファイル名が、ダウンロードされていなければファイル名が入る
search_and_save('barbarbar')
search_and_save('bazbazbaz')
driver.quit()