4

入力データ

次のようなテキストファイルがあるとします。

日付  ARTIST  滝廉太郎
日付  ARTIST  滝廉太郎
日付  ARTIST  滝廉太郎
日付  SONG    荒城の月
日付  ARTIST  滝廉太郎
日付  ARTIST  山田耕筰
日付  ARTIST  山田耕筰
日付  ARTIST  滝廉太郎

日付のところは日付が入ります(2017年1月10日など)が今回は使用しません。

タブで区切られて次の列は"ARTIST"か"SONG"が来ます。

三番目の列には二番目の列に応じて、アーティスト名か曲名が来ます。

欲しい結果

   5 滝廉太郎
   2 山田耕筰

このデータから人気のあるアーティストを知りたいと言われたときに、もちろんスクリプト言語などでプログラムを書けば作れますが、30秒でやりたいようなときにはシェルが便利です。

あれこれ調べて工夫したところ

cat data.txt | grep -o "\tARTIST\t.*" | sort | uniq -c | sort -nr

とすることで

5   ARTIST  滝廉太郎
2   ARTIST  山田耕筰

までは得られました。これで十分な結果ではありますが、"ARTIST"の文字が不要です。

Rubyなどのスクリプト言語では正規表現の一部を()で囲むことでその部分を取り出せますが、コマンドラインのgrepで同じことをするにはどうすればよいのでしょうか?

ちなみに

cat data.txt | grep -o "\tARTIST\t.*" | grep -o "ARTIST\t.*$" | grep -o "\t.*$" | grep -o "\S.*$" | sort | uniq -c | sort -nr

のように何段もgrepを重ねれば

   5 滝廉太郎
   2 山田耕筰

にすることはできますが、もう少しシンプルな方法があるのではないかと思い質問してみました。

よろしくお願いします。

2
  • 1
    シンプルにはなっていないのですが、cat data.txt | grep -w 'ARTIST' | cut -f3 | sort | uniq -c | sort -k1,1nr という方法もあるかと。
    – user39889
    Commented 2017年2月8日 11:38
  • cutというコマンドは知りませんでした。有益な情報ありがとうございます!-f3で3番目の列を取り出せるのですね。 Commented 2017年2月10日 22:28

4 件の回答 4

4

metropolisさんのコメントでの回答で十分シンプルだと思いますが、grepとcutをawkで済ませる方法もあります。
cat data.txt | awk '$2=="ARTIST" {print $3}' | sort | uniq -c | sort -nr

1
  • awkは不慣れでしたが、これを機に調べてみようと思います。1行でシンプルに書けるので、会得しておくと今後役に立ちそうです。ありがとうございます。 Commented 2017年2月10日 22:37
3

もう少しシンプルな方法があるのではないかと思い

シェルスクリプトではないので回答にはならないのですが、参考までに q コマンドを使う方法などを。

$ cat data.txt |
  q -t 'SELECT COUNT(c3) AS nc3, c3 FROM -
        WHERE c2 = "ARTIST" GROUP BY c3 ORDER BY nc3 DESC'
5   滝廉太郎
2   山田耕筰

"Run SQL directly on CSV or TSV files" という説明文の通り、SQL 構文を使って CSV/TSV フォーマットのファイルから必要なデータを抽出することができます。c2, c3 はそれぞれ 2 番目のカラム、3 番目のカラムに対応するセレクタです。

1
  • qコマンドを知りませんでしたが、より複雑なデータや集計が必要なときには威力を発揮しそうですね。ありがとうございます。 Commented 2017年2月10日 22:35
1
$ sed -n 's/^.*\tARTIST\t//p' data.txt |sort |uniq -c |sort -nr
      5 滝廉太郎
      2 山田耕筰

\t が使えない sed もあるので注意。その場合はシェルの種類や設定に依りますが、\t の 代わりに Ctrl+v, Tab と打って Tab 文字を入力しましょう。

1
  • macOS 10.12のsedでは\tが使えませんでした。教えてくださったとおり、ctrl+v + tabでタブを入力できました(このやり方は知りませんでした、ありがとうございます)。 Commented 2017年2月10日 22:34
0

もしawkに興味がお有りであれば

awk '/. ARTIST ./{ary[$3]++}END{for(i in ary){print ary[i],i}}' data.txt |sort -nr

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。