1

POSIX shell (あるいは Dash) のシェルスクリプトにおいて .txt という拡張子を末尾に持つファイルたち全てに対して何らかの処理がしたいとき、どのように書けますか? たとえば全てのファイル名を出力するにはどうすれば良いですか?

ただし、以下を全て満たしたいです。

  • ファイル名に空白が入っていても良い。
  • ファイル名に改行が入っていても良い。
  • ディレクトリは除きたい。それ以外はシンボリックリンクも含め全てそのまま扱いたい。
  • 条件に合うファイルが無い場合、何もしない。

2 件の回答 2

3

書き込み依頼があったのでフォローアップなど

shell glob はコマンド起動前に展開されるので、一致ファイル名が shell の制約以上にある場合には argument too long エラーとなって起動しなくなることがあります。 shell glob によらずにファイル名を展開するツールには find がありますのでこちらを使う手を紹介。
# Windows 環境では MS-DOS の頃からの伝統で grep 相当の機能である find が入っているため、要注意。 Windows 上で試すなら cygwin なり WSL なりが必要となります。

基本的使い方:ファイル名にスペースが入っていない場合限定

$ find . -name '*.txt' -exec rm -f {} \;

rm -f filename をファイル1つにつき1回起動します。

覚えるコツ

  • シングルクォートで括らずに *.txt と書くと、これを glob が展開してしまいます。ファイル名展開は find にやらせたいので glob を回避するためにはシングルクォートが必要。
  • find{} のところにファイル名を格納して exec/fork します
  • オプション -exec と次のオプションを区切るためには「 find のコマンドラインとして」のセミコロンが必要です。これもシェルによって解釈されないようにエスケープ(この例ではバックスラッシュ)が必要です。エスケープしないとシェルによって複数コマンドの起動のための区切りとみなされエラーになってしまいます。

ディレクトリは除外ファイル限定なら -type f をつけるとかの指定もできます。

find -exec を正しく使うためには注意事項が多くて意外に難しかったりします。 shell glob + for でよければそっちのほうが圧倒的に簡単だったりします・・・

この形式は POSIX 標準なので非 GNU な POSIX (要するに UNIX TM) でも使うことができます (HPUX とか) が xargs またはシェルがスペースでファイル名を区切ってしまう関係で、ファイル名にスペース等が入っていない場合限定です。

なおファイル1つにつきコマンド1回が起動されるので、ファイルが1000個あればコマンドも1000回起動され、効率はあまりよくありません。たいていのコマンドはファイル名を複数個受け付けるので、そういうコマンドの場合は xargs を使って

$ find . -name '*.txt' -print | xargs rm -f

とすると rm -f filename0 filename1 filename2 ... のように、コマンドラインの制約いっぱいまで自動的にファイル名をくっつけてコマンドを複数回起動してくれます。(コマンドライン中のファイル数を制約したり、複数プロセス同時起動したりすることもできますが解説略)こうすることでコマンドの起動回数を激減させることができ、性能が向上します。

応用例:ファイル名にスペースが含まれるような場合

ファイル名がシェルまたは xargs によってスペースで区切られないようにしないとファイル名が途中で切れてしまいます。異ファイルの区切り記号を '\0' つまり NUL 文字とすることで誤動作を防ぐことができますが、この拡張機能を使うためには xargs -0 あるいは xargs --null を使う必要があります。同時にパラメータを渡す側、つまり find もオプション -print0 に書き換える必要が生じ

$ find . -name '*.txt' -print0 | xargs -0 command

この形式を使うのが Linux では最もお勧めです。 find -print0xargs -0 をペアで使う、と単純にイディオムとして覚えるだけでコマンドラインワンライナーのレベルが上がります。
# 同時に正しいシングルクォートの使い方を覚えることができてウマー

この機能は POSIX にはない GNU 拡張なので Linux では使えますが、素の HPUX では使えなかったりします。まあ今時商用 UNIX は壊滅に近い状況にありますが・・・

3
  • 1
    ちなみに、シェルのビルトイン関数である echo には引数文字列の長さ制限がありません。例えば、/bin/echo $(seq -s ' ' 100000000)echo $(seq -s ' ' 100000000) を実行してみて下さい。これと同様に、for i in $(seq -s ' ' 100000000); do ... ; done は argument too long エラーになりません。
    – user39889
    Commented 2018年6月21日 13:02
  • 知りませんでした。こちらの Ubuntu + Bash 環境では getconf ARG_MAX が 2097152 だったので、同じディレクトリに 2100000 個のファイルを作成して for i in *; do echo "$i"; done したところ、確かにエラー無く動きました。
    – nekketsuuu
    Commented 2018年6月21日 13:45
  • 2
    find-exec を使用する例はファイル名に空白文字が含まれていても問題ないですよ。それと find . -name '*.txt' -exec rm -f {} + なら rm の実行回数は find で見つかるファイル数分にはなりません。お薦めは find . -name '*.txt' -exec sh -c 'シェルスクリプト' sh {} + って書き方。
    – fumiyas
    Commented 2018年6月21日 15:29
3

glob を使ってファイルたちを見つけ出し、for 文を回せば良いです。

for file in *.txt ; do
    [ -f "$file" ] || continue
    # 実行したいコマンド
    echo "$file"
done

ディレクトリも含めたい場合は、-f でなく -e を使ってください。

以下、注意事項です。

  • この方法では .piyo.txt のようなファイルは捕捉されません。ドットから始まるファイルも捕捉したい場合、.*.txt というパターンを使うとマッチすることができます。
  • *.txt にマッチするファイルが無かった場合、$file には *.txt という文字列そのものが代入されてしまいます。しかし [ -f "$file" ] でそのファイルが存在しているかどうか確認しているので問題ありません。また Bash の場合は、shopt -s nullglob を使うことでこの問題を回避できます。
  • この方法はファイルたちを一旦列挙してから 1 つずつ処理するため、.txt ファイルがあまりにも多い場合はメモリ容量に関するエラーが出るかもしれません。そうならないような方法については 774RR さんの回答をご覧ください。
  • *.txt の代わりに $(ls *.txt) を使ってしまうと、空白が含まれたファイル名を正しく処理できません。
5
  • 4
    for を使うのが必須でない場合はオイラなら find -print0xargs -0 を使うことを推奨したいです。 *.txt を単に glob すると argument too long になることがありえるので。
    – 774RR
    Commented 2018年6月21日 8:21
  • 1
    補足で、 この条件では .hoge.txt はマッチしません。glob はドットから始まるファイルを補足しないからです。 .*.txt でマッチします。
    – Yuki Inoue
    Commented 2018年6月21日 8:24
  • @774RR さん、なるほど、ありがとうございます。回答に追記しました。find を使う方法は別の回答として投稿して頂けませんか? 個人的に、find を使うと可読性が落ちる場合の方が多い気がしていて、必要でない限り使いたくないのです。
    – nekketsuuu
    Commented 2018年6月21日 8:25
  • @YukiInoue さん、ありがとうございます。回答に追記しました。
    – nekketsuuu
    Commented 2018年6月21日 8:27
  • @774RR さん、誤解を生んでいたら申し訳ないのですが、for が必須だという意図はありませんでした。タイトルを修正いたしましたのでご確認ください。
    – nekketsuuu
    Commented 2018年6月21日 8:32

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。