POSIX shell (あるいは Dash) のシェルスクリプトにおいて .txt
という拡張子を末尾に持つファイルたち全てに対して何らかの処理がしたいとき、どのように書けますか? たとえば全てのファイル名を出力するにはどうすれば良いですか?
ただし、以下を全て満たしたいです。
- ファイル名に空白が入っていても良い。
- ファイル名に改行が入っていても良い。
- ディレクトリは除きたい。それ以外はシンボリックリンクも含め全てそのまま扱いたい。
- 条件に合うファイルが無い場合、何もしない。
書き込み依頼があったのでフォローアップなど
shell glob はコマンド起動前に展開されるので、一致ファイル名が shell の制約以上にある場合には argument too long エラーとなって起動しなくなることがあります。 shell glob によらずにファイル名を展開するツールには find
がありますのでこちらを使う手を紹介。
# Windows 環境では MS-DOS の頃からの伝統で grep
相当の機能である find
が入っているため、要注意。 Windows 上で試すなら cygwin なり WSL なりが必要となります。
基本的使い方:ファイル名にスペースが入っていない場合限定
$ find . -name '*.txt' -exec rm -f {} \;
で rm -f filename
をファイル1つにつき1回起動します。
覚えるコツ
*.txt
と書くと、これを glob が展開してしまいます。ファイル名展開は find
にやらせたいので glob を回避するためにはシングルクォートが必要。find
は {}
のところにファイル名を格納して exec/fork します-exec
と次のオプションを区切るためには「 find
のコマンドラインとして」のセミコロンが必要です。これもシェルによって解釈されないようにエスケープ(この例ではバックスラッシュ)が必要です。エスケープしないとシェルによって複数コマンドの起動のための区切りとみなされエラーになってしまいます。ディレクトリは除外ファイル限定なら -type f
をつけるとかの指定もできます。
find -exec
を正しく使うためには注意事項が多くて意外に難しかったりします。 shell glob + for でよければそっちのほうが圧倒的に簡単だったりします・・・
この形式は POSIX 標準なので非 GNU な POSIX (要するに UNIX
TM) でも使うことができます (HPUX とか) が xargs
またはシェルがスペースでファイル名を区切ってしまう関係で、ファイル名にスペース等が入っていない場合限定です。
なおファイル1つにつきコマンド1回が起動されるので、ファイルが1000個あればコマンドも1000回起動され、効率はあまりよくありません。たいていのコマンドはファイル名を複数個受け付けるので、そういうコマンドの場合は xargs
を使って
$ find . -name '*.txt' -print | xargs rm -f
とすると rm -f filename0 filename1 filename2 ...
のように、コマンドラインの制約いっぱいまで自動的にファイル名をくっつけてコマンドを複数回起動してくれます。(コマンドライン中のファイル数を制約したり、複数プロセス同時起動したりすることもできますが解説略)こうすることでコマンドの起動回数を激減させることができ、性能が向上します。
応用例:ファイル名にスペースが含まれるような場合
ファイル名がシェルまたは xargs
によってスペースで区切られないようにしないとファイル名が途中で切れてしまいます。異ファイルの区切り記号を '\0'
つまり NUL
文字とすることで誤動作を防ぐことができますが、この拡張機能を使うためには xargs -0
あるいは xargs --null
を使う必要があります。同時にパラメータを渡す側、つまり find
もオプション -print0
に書き換える必要が生じ
$ find . -name '*.txt' -print0 | xargs -0 command
この形式を使うのが Linux では最もお勧めです。 find -print0
と xargs -0
をペアで使う、と単純にイディオムとして覚えるだけでコマンドラインワンライナーのレベルが上がります。
# 同時に正しいシングルクォートの使い方を覚えることができてウマー
この機能は POSIX にはない GNU 拡張なので Linux では使えますが、素の HPUX では使えなかったりします。まあ今時商用 UNIX は壊滅に近い状況にありますが・・・
/bin/echo $(seq -s ' ' 100000000)
と echo $(seq -s ' ' 100000000)
を実行してみて下さい。これと同様に、for i in $(seq -s ' ' 100000000); do ... ; done
は argument too long エラーになりません。
getconf ARG_MAX
が 2097152 だったので、同じディレクトリに 2100000 個のファイルを作成して for i in *; do echo "$i"; done
したところ、確かにエラー無く動きました。
find
の -exec
を使用する例はファイル名に空白文字が含まれていても問題ないですよ。それと find . -name '*.txt' -exec rm -f {} +
なら rm
の実行回数は find
で見つかるファイル数分にはなりません。お薦めは find . -name '*.txt' -exec sh -c 'シェルスクリプト' sh {} +
って書き方。
glob を使ってファイルたちを見つけ出し、for 文を回せば良いです。
for file in *.txt ; do
[ -f "$file" ] || continue
# 実行したいコマンド
echo "$file"
done
ディレクトリも含めたい場合は、-f
でなく -e
を使ってください。
以下、注意事項です。
.piyo.txt
のようなファイルは捕捉されません。ドットから始まるファイルも捕捉したい場合、.*.txt
というパターンを使うとマッチすることができます。*.txt
にマッチするファイルが無かった場合、$file
には *.txt
という文字列そのものが代入されてしまいます。しかし [ -f "$file" ]
でそのファイルが存在しているかどうか確認しているので問題ありません。また Bash の場合は、shopt -s nullglob
を使うことでこの問題を回避できます。.txt
ファイルがあまりにも多い場合はメモリ容量に関するエラーが出るかもしれません。そうならないような方法については 774RR さんの回答をご覧ください。*.txt
の代わりに $(ls *.txt)
を使ってしまうと、空白が含まれたファイル名を正しく処理できません。for
を使うのが必須でない場合はオイラなら find -print0
と xargs -0
を使うことを推奨したいです。 *.txt
を単に glob すると argument too long になることがありえるので。
find
を使う方法は別の回答として投稿して頂けませんか? 個人的に、find
を使うと可読性が落ちる場合の方が多い気がしていて、必要でない限り使いたくないのです。
for
が必須だという意図はありませんでした。タイトルを修正いたしましたのでご確認ください。