状況
ダウンロードを行いたいサイトは以下のような構成です。
https://files.example/works/section_a
https://files.example/works/section_b
https://files.example/works/section_c
...
これらの中で、section_a
下のファイルのみをダウンロードしたいとします。
しかしsection_a
内のページには section_b
とsection_c
へのリンクが含まれている とします。
実行したこと
そこで以下のwgetコマンドを実行しました。
wget -p -E -nH -np -k -r -l1 https://files.example/works/section_a
実行結果
しかし結果は期待していたものではなく、section_a
のみならず、同階層のsection_b
、section_c
のファイルもダウンロードされてしまいます。
親階層のファイルについては、期待通り取得はされておりません。
疑問
なぜ
-np
オプションを付けた状態でhttps://files.example/works/section_a
を指定しているにもかかわらず、同階層のディレクトリのファイルがダウンロードされてしまうのでしょうか?また
section_a
のファイルのみをダウンロードする方法は存在しますか?
追記
URLの末尾に/を追加
wget -p -E -nH -np -k -r -l1 https://files.example/works/section_a/
URL末尾に/
を追加してwgetを実行した結果、404 Not Found
となってしまいました。
...
HTTP request sent, awaiting response... 404 Not Found
2021-01-05 19:16:16 ERROR 404: Not Found.
なお末尾にスラッシュを付けた状態でブラウザでアクセスを試みた場合、ページが見つからないという状態となっております。
再帰ダウンロード時のフィルタ:
でダウンロードしない...
とか取得対象にしない...
と書かれているオプションで指定出来る何かで試してみるとかどうでしょう? wget with wildcards in http downloads あるいは何か別の手段でダウンロード対象のファイル名のリストを入手して不要なものを排除して指定するとか、-p
や-k
のオプションは使わずに後から別途自分で処理するとか?