標準入力にファイルの内容を流すためだけにcat
を使うのは、1994年頃から "Useless use of cat" (UUoC) として知られています (出典とされているメールスレッドのアーカイブ)。本家 Stack Overflow にも「この無駄なcat
には本当に意味が無いのか?」という趣旨の質問があります。この回答ではこれらを参考に利点と欠点を挙げてみます。
cat FILENAME | grep "PATTERN"
の利点
- 処理の流れが読みやすいことがあります。どこがファイル名なのかを考えなくて済みます(たとえば
grep abc def
と書いたときを想像してください)。また cat a.txt | grep foo | wc -l
のようにパイプによる処理フローが続く場合、処理の流れが左から右に読めます。
- この点に関して、リダイレクションを上手く使えば
cat
を使わなくても同様のことができるという指摘がありますが、この回答ではそれには触れないことにいたします。
- 入出力の挙動が明確になることで、バグを未然に防げることがあります。たとえばfooもbarもある行の数を調べたくて
grep foo a.txt | grep bar a.txt | wc -l
と書いてもこれは「(fooに関係なく) barがある行の数」をエラーメッセージなしに出力します。そうではなく cat a.txt | grep foo | grep bar | wc -l
か grep foo a.txt | grep bar | wc -l
と書くと上手くいきます。
- 複数ファイルを
grep
したくて、かつヒットしたファイルの名前が不要なときは、cat
を使った方が簡潔に書けます。これについては下の方で詳しく書きます。
cat FILENAME | grep "PATTERN"
の欠点
- ただ1つのファイル名を指定するためだけに
cat
を使うのは無駄です。grep
に直接ファイル名を指定できます。特に、パイプの無いスタンドアローンなコマンドを重視する場合これは重要です。
- 大きいサイズのファイルを扱う際、
cat
で読んだ後パイプを通じてgrep
で処理することになるため、無駄が出る場合があります。実際に私の環境でベンチマークをとった結果を下の方に書きました。
本当に両者は同じコマンドか?
grep
に限って言えば、実は grep "PATTERN" FILENAME
と cat FILENAME | grep "PATTERN"
は全く同じ挙動をするコマンドではないです。特にオプション引数を許すなら、-H
または--with-filename
をつけたときの挙動が変わります。
$ cat a.txt
abc
defg
hij
$ grep -H "abc" a.txt
a.txt:abc
$ cat a.txt | grep -H "abc"
(標準入力):abc
$
同じようなことが、複数ファイルについてgrep
したいときにも言えます。私の環境では grep PATTERN FILE1 FILE2 FILE3
を実行したときにはデフォルトで -H
がついた挙動になりました。これはマニュアルにも書いてある挙動です。
-H, --with-filename
Print the file name for each match. This is the default when
there is more than one file to search.
(man grep
より引用)
ただし、ファイル名表示を抑制する -h
, --no-filename
というオプションもあるのでこれを明示的に指定すれば避けられます。これは入力が1ファイルのときや標準入力しか無いときのデフォルト挙動です。
ベンチマーク結果
ファイルサイズを変えながら、grep a FILENAME
と cat FILENAME | grep a
の実行速度を計測しました。実験した環境はマルチコアプロセッサ上で動くUbuntuです (詳細は下の方に書きます)。最初に結果だけ載せると、下のようになりました(両対数プロット)。
UUoCを使ったコマンドの方が、ファイルサイズ依存のオーバーヘッド分だけ遅いことが分かりました (両対数プロットであることに注意してください)。以下、この結果について詳しく書きます。
実験環境
- Intel Core i7-7500U CPU @ 2.70 GHz クアッドコア
- メモリ 16GB
- ストレージはSSDのみ
- Ubuntu 16.10 yakkety (x86_64, 4.8.0-46-generic)
- GNU bash 4.3.46(1)-release (x86_64-pc-linux-gnu)
- grep (GNU grep) 2.25
- cat (GNU coreutils) 8.25
- go version go1.8 linux/amd64
実験方法
以下の手順で計測をするプログラムをGoで書いてビルドし、bash上で走らせました。
- 1KBから10GBまでの幅で、いくつかの適当なファイルサイズについて調べる。
- 指定されたファイルサイズ分ASCIIの'0'で埋められたファイルを用意する。ただし、1KBごとに改行を入れました。つまり、1023バイト'0'が続いた後、'\n'が入るようなファイルにしました。
- 各コマンドの実行時間を1回ずつ測り、それぞれ20回実行して平均を計算する。ただしキャッシュの影響が出にくいように、(2つのコマンドをAとBと書くことにして、)Aを10回計測、Bを10回計測、Bを10回計測、Aを10回計測、の順番で計測しました。
実際のソースコードはこのgistにあります。
注意
- 20回しか反復していないので、結果の最上位桁くらいしか信用できません。
- masmさんのご指摘どおり、シングルプロセスだと異なる結果になるかもしれません。
- このプロットでは「適度に改行があるテキストファイル」を対象にベンチマークをとりました。いくつか他の条件でも試してみたところ、「改行が全くないテキストファイル」や「すべて0x0で埋められたバイナリファイル」だと違う形のグラフになることが分かりました。結果の両対数プロットだけ下に添付しておきます。