5

やりたいこと

ディレクトリ内の全てのファイルを対象に、ls -l の結果の一部と、wc -l の結果の一部をマージした結果を得たいと考えています。

具体的には次のような結果です。1列目にファイルの mtime の年月日、2列目にファイルパス、3列目に行数があるような結果です。

得たい結果

2020-02-06 ./index.php 17
2023-01-01 ./license.txt 384
2023-07-06 ./readme.html 97
2023-05-13 ./wp-activate.php 218
2023-11-09 ./wp-admin/about.php 381
...

なお、上記はサンプルファイルとして wordpress.zip で試した結果です。

この結果は、次のような for 文を書けば得られるのですが、for 文を使っているためか1行ずつの処理になってしまい、ファイル数が多いと結果を得られるのが遅くなってしまっています。wordpress のファイル群で試すと手元で10秒ほどかかってしまっています。

IFS=$'\n'
for line in $(find . -type f | sort | xargs ls -l --time-style='+%Y-%m-%d' | awk '{print $6, $7}'); do
    file=$(echo "$line" | awk '{print $2}')
    echo "$line" $(cat "$file" | wc -l)
done

高速に実行できる方法

一方で、次のコマンドは高速に全ファイルの結果を得ることができます。

find . -type f | sort | xargs ls -l --time-style='+%Y-%m-%d' | awk '{print $6, $7}' 
2020-02-06 ./index.php
2023-01-01 ./license.txt
2023-07-06 ./readme.html
2023-05-13 ./wp-activate.php
2023-11-09 ./wp-admin/about.php
...
find . -type f | sort | xargs wc -l  
      17 ./index.php
     384 ./license.txt
      97 ./readme.html
     218 ./wp-activate.php
     381 ./wp-admin/about.php
...

この ls -lwc -l の結果をマージしたような、冒頭に示した「得たい結果」を高速に得たいのですが、どのような方法が考えられるでしょうか。2つのコマンドの結果をマージするような方法があるのか、または「得たい結果」を高速に得るコマンドがあるのかについてお尋ねしたいです。

補足

GNU bash 5.x を使っています。(もし例えば zsh なら簡単にできるなどあれば教えていただけると助かります)

3 件の回答 3

4

パスにスペース含まないなら, こんな風にできます
(sort 組み込んでいないので適当なところへ。joinしてるので片方だけでも OKなはず)

join -j2 <(find -type f -printf "%TF %p\n") <(find -type f -exec wc -l {} +) |awk '{print $2 " " $1 " "$3}'

# 結果サンプル
2022-11-22 ./HackGen_v2.7.1.zip 153552
2023-07-13 ./wezterm-20230712-072601-f4abf8fd.Ubuntu22.04.deb 153955

update
(join用に)ソートする場合
(ファイル数が増えても大丈夫のはず)

$ join -j2 -o '1.1 1.2 2.1' <(find . -type f -printf '%TF %p\n' |sort -k2,2) <(find . -type f -exec wc -l {} + |sort -k2,2)
8
  • join コマンドがまさに今回知りたかったものでした。join に与える2つの入力はソートされている必要があるらしいので入力を用意する側で awk で並び替えて sort しておくと良いのかなと思いました。(最後の awk の後にソートするかはさておき) join <(find . -type f -printf '%p %TF\n' | sort) <(wc -l $(find -type f) | awk '{print $2, $1}' | sort) | awk '{print $2, $1, $3}'
    – quickstar
    Commented 2023年11月20日 14:48
  • @quickstar join コマンドには output フォーマットを指定するオプション(-o)があります。join -j2 -o '1.1 1.2 2.1' <(find . -type f -printf '%TF %p\n' | sort -k2,2) <(wc -l $(find -type f) | sort -k2,2) これで awk が不要になります。
    – metropolis
    Commented 2023年11月20日 15:09
  • @quickstar ファイルシステムに依るけど, findでの順序はある程度は同じようなので sortしなくても大丈夫(同じ順序) かもしれません。参考。実は paste使う回答用意してて, findの順序変わる可能性も考え joinに変更したです。(順序違うとマッチ処理してくれると思い込んでたけど「ソートされていません:」とか出ますね)
    – oriri
    Commented 2023年11月20日 15:40
  • (同じ順序が保証されるなら joinできる模様)
    – oriri
    Commented 2023年11月20日 15:41
  • @metropolis 探したらありました。そんなオプションあったなんて。ありがとうございます
    – oriri
    Commented 2023年11月20日 15:42
3
$ stat --version
stat (GNU coreutils) 9.1

$ paste <(find . -type f -exec stat -c '%y %n' {} \+ | cut -d' ' -f1,4-) \
        <(find . -type f -exec wc -l {} \+ | grep '/') | \
  sort -k2,2 | awk '{NF-=1}1'

2020-02-06 ./index.php 17
2023-01-01 ./license.txt 384
2023-07-06 ./readme.html 97
2023-05-13 ./wp-activate.php 218
          :

# 実行時間
$ time { paste <(find . -type f -exec stat -c '%y %n' {} \+ | cut -d' ' -f1,4-) \
               <(find . -type f -exec wc -l {} \+ | grep '/') | \
         sort -k2,2 | awk '{NF-=1}1'; }
      :

real  0m0.082s
user  0m0.022s
 sys  0m0.012s

# 実行時間(質問文に掲示されているコード)
$ time { IFS=$'\n';for line in $(find . -type f | sort | xargs ls -l --time-style='+%Y-%m-%d' | awk '{print $6, $7}'); do
    file=$(echo "$line" | awk '{print $2}')
    echo "$line" $(cat "$file" | wc -l)
done; }
          :

real  0m31.399s
user  0m21.167s
sys   0m18.927s
2
  • join コマンドの方が今回はシンプルに書けるようですが、paste コマンドを使った例も提示していただきありがとうございます。比較できて参考になりました。
    – quickstar
    Commented 2023年11月20日 14:53
  • bashタグ付いてはいますが、bash固有の機能を使っているときはそれを明示しておいた方がいいです。特に気になったのはprocess substitutionです。使用される文脈ではbashismという言葉を大抵見かけるので。。。
    – dameo
    Commented 2023年11月20日 20:39
1

既に回答がついていますが、別解です。
あまり速くないかもしれませんが、findの実行は1回です。

find . -type f | sort | xargs -I {} bash -c 'ls -l --time-style='\''+%Y-%m-%d'\'' {} | awk '\''{print $6, $7}'\''; cat  {} |wc -l'| paste - -
5
  • xargs で -I オプションを使ってコマンドを続けてしまうと for でループするかのように遅くなってしまうのですよね。xargs の -P オプションで並列化をさせると少しは早くなりますが定数倍高速化は気持ち程度なので他の方法を考えたほうが高速化できそうです。
    – quickstar
    Commented 2023年11月20日 14:53
  • find の実行を1回で済ませたい場合は、find -type f -printf '%TF ' -exec wc -l {} \; | awk '{print $1, $3, $2}' | sort -k2,2 とするとよいでしょう。join や paste に比べると 40~50倍は遅くなりますが、その方法よりは遥かに速いです。
    – metropolis
    Commented 2023年11月20日 17:19
  • -exec wc -l {} \; の代わりに -exec wc -l {} + にすれば高速になります (wcの実行は少ない)。colabで確認したところ Argument list too long は出なかったようです
    – oriri
    Commented 2023年11月21日 8:39
  • @oriri -exec wc -l {} + にすると実行結果が変化してしまいます。;+ の出力の違いを確認してください。+ の場合は最初に -printf '%TF ' の出力が行われて、次に wc -l の出力が行われます。; にすることで 一ファイルづつ処理されます。(なので遅いのです) また、+ の場合、wc -l の実行結果に total 行が出力されるので、私の回答では grep '/' としています。
    – metropolis
    Commented 2023年11月21日 12:18
  • 一応時間的な問題はwcとlsの起動コストに起因してるので、find -exec +とxargsの違いは誤差程度です。ただfind -exec +でwcの起動コストは抑えられても、複数行では出力がうまく混ざらないでしょうし、sumも入ってしまうので使えません。wc起動は;でなければならず、;にしたコスト分だけ遅くなります。metropolisさんの最初のコメントがこの方法の最速でしょう。
    – dameo
    Commented 2023年11月21日 15:02

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。