wget http://~
でファイルを保存する時の話です。
バックグラウンドでwget
させて複数のファイルを保存している時、どれが完了しているファイルなのかがls
ではわかりません。
そこで、ダウンロード中のものはファイル名の先頭に_incomplete_
というものを付け、完了後にオリジナルのファイル名にしたいのですが、なにかよい方法はないでしょうか。
条件を満たすかわかりませんが大抵のコンテンツにはタイムスタンプがあるので wget -N
でタイムスタンプを保持させます。
そうするとダウンロード完了後にタイムスタンプが設定されるので、ls -t
でタイムスタンプ順に並べることで完了を知ることができます。
以下のお話は Linux OS 限定になります。
Linux OS には inotify(monitoring filesystem events)
と呼ばれる機構が用意されています。詳しい話は man 7 inotify
でも参照いただくとして、この機構を利用するとファイルに対する open(2)/close(2)
の発行を捉えて任意の処理を追加する事が可能になります。
具体的は inotify-tools
パッケージに含まれる inotifywait
コマンドを利用します。以下のサンプルスクリプトでは $HOME/downloads
ディレクトリにファイルをダウンロードする事を前提としています。
mark_incomplete.sh
#!/bin/bash
inotifywait -q -m $HOME/downloads -e open,close --format '%e %w %f' |
while read -r event dir file
do
[[ ! -f $dir$file ]] && continue
p=($(fuser "$dir$file" 2>/dev/null))
case "$event" in
OPEN)
[[ ${#p[@]} == 1 ]] && [[ $(basename "$(readlink -e /proc/${p[0]}/exe)") == wget ]] &&
ln -sf "$dir$file" "${dir}_incomplete_$file";;
*CLOSE*)
( [[ ${#p[@]} == 0 ]] ||
( [[ ${#p[@]} > 1 ]] && [[ $(basename "$(readlink -e /proc/${p[0]}/exe)") != wget ]] )) &&
rm -f "${dir}_incomplete_${file}";;
esac
done
以下は動作例です。
$ ./mark_incomplete.sh &
$ cd $HOME/downloads
$ wget http://greengenes.lbl.gov/Data/JD_Tutorial/UnAligSeq24606.txt
# 別の端末で確認
$ ls -l $HOME/downloads
-rw-r--r-- 1 nemo 1.4K Jan 23 20:48 UnAligSeq24606.txt
lrwxrwxrwx 1 nemo 43 Jan 23 20:48 _incomplete_UnAligSeq24606.txt -> /home/nemo/downloads/UnAligSeq24606.txt
# ダウンロード完了
$ ls -l $HOME/downloads
-rw-r--r-- 1 nemo 35144 Aug 11 2006 UnAligSeq24606.txt
このスクリプトでは mv コマンドではなく、symbolic link を作成しています。理由は、mv "$dir/$file" "$dir/_incomplete_$file"
としてしまうと、ダウンロード完了後のタイムスタンプの変更ができなくなってしまうからです。
$ wget http://greengenes.lbl.gov/Data/JD_Tutorial/UnAligSeq24606.txt
:
utime(UnAligSeq24606.txt): No such file or directory
さて、このスクリプトにはいくつかの問題があります。
inotifywait
コマンドの出力文字列を NULL(0x00)
文字で区切って渡したい所なのですが、--format
オプションで指定するフォーマット文字列に NULL を含められません(github のリポジトリに issue として上がっていますが、現状では進展がありません)。
wget
という名前の別のコマンドを使ってファイルをオープンすると symbolic link ファイルが作成されるinotifywait
は event を発生させた process の情報(PID など)は通知しませんので、/proc
から必要な情報を取得しています。
以上の様な状況ですので、これを利用するとしてもかなり限定的になります。参考程度に捉えて下さい。