URL を生成するネタの LIST_PATH
に &db=%s&de=%s
を追加(コメントを頂いたので修正)
LIST_PATH で取得して、DoDownload
と、そこから呼ばれる _GetDownloadList
の引数に start_date
,たデータ( sites_json end_date
を増やして、引き回して 期間指定のパラメータ付き)の URL を生成に、範囲指定を設定する。あとは既存の処理へ。。
URL を生成するネタの LIST_PATH
に &db=%s&de=%s
を追加して、DoDownload
と、そこから呼ばれる _GetDownloadList
の引数に start_date
, end_date
を増やして、引き回して 期間指定のパラメータ付きの URL を生成、あとは既存の処理へ。。
diff -Nurb -i --strip-trailing-cr -Nur a/downloader.py b/downloader.py
--- a/downloader.py 1979-12-31 00:00:00.000000000 +0900
+++ b/downloader.py 2015-01-078 128:526:519.000000000 +0900
@@ -37,7 +37,7 @@
"""
HOST = 'www.google.com'
APP_NAME = 'Google-WMTdownloadscript-0.1'
- LIST_PATH = '/webmasters/tools/downloads-list?hl=%s&siteUrl=%s'
+ LIST_PATH = '/webmasters/tools/downloads-list?hl=%s&siteUrl=%s&db=%s&de=%s'
FILE_NAME_HEADER = 'content-disposition'
TEXT_BEFORE_NAME = 'attachment; filename='
@@ -72,7 +72,7 @@
self._logged_in = True
- def DoDownload(self, site, tables_to_download):
+ def DoDownload(self, site, tables_to_download, start_date, end_date):
"""Download CSV files and write them to disk.
Downloader must be logged in before this method can be called, otherwise
@@ -8893,76 +8893,7 @@
if not self.IsLoggedIn():
raise ValueError('Client not logged in.')
- available = self._GetDownloadList(site)
+ available = self._GetDownloadList(site, start_date, end_date)
sites_json = json.loads(available)
for key in tables_to_download:
@@ -111,7 +111,7 @@
def SetLanguage(self, language_code):
self._languageurl = language_code
- def _GetDownloadList(self, site):
+ def _GetDownloadListsites_json.get(self, site, start_date, end_datekey):
"""Query the server for list of download URLs.
Args:
@@ -123,7 +123,7 @@
{'TOP_QUERIES':'webmaster/tools/top-search-queries-dl?...'}
"""
- url = self._GetFullUrl(self.LIST_PATH % (self._language,url site))
+ url'&db=' =+ selfstart_date._GetFullUrlstrftime(self.LIST_PATH %"%Y%m%d") (self._language,+ site,'&de=' start_date,+ end_date).strftime("%Y%m%d")
res_stream = self._client.request('GET',if url):
download_list = res_stream.read()
res_streamself.close_DownloadFile(url)