1

【内容】
コマンドにて、「IDを列挙しているファイル」と、「IDなどが記述されているcsv」を比較し
csvから、「IDを列挙しているファイル」に記載されていないIDのレコードを抽出したいです。

【例】
IDを列挙しているファイル(hogehoge_list)

AAAAAA
XXXXXX
ZZZZZZ

IDなど様々な情報が記述されているcsv(foofoo.csv)

AAAAAA,タイトル,URL
BBBBBB,タイトル,URL
XXXXXX,タイトル,URL
ZZZZZZ,タイトル,URL

「hogehoge_list」と「foofoo.csv」を比較して、「hogehoge_list」にないIDである『BBBBBB』の「foofoo.csv」の行を取得したい。

BBBBBB,タイトル,URL

よろしくお願いします。

4
  • grep を使って grep -F -w -v -f hogehoge_list foofoo.csv とか。
    – user39889
    Commented 2018年10月27日 14:52
  • @metropolis ご回答ありがとうございます! 解決しました!
    – HIRO
    Commented 2018年10月27日 15:06
  • @metropolis 他の質問でも同様ですが、「回答」はコメントではなくぜひ「個別の回答」として投稿してください。このままだとシステム的には「未解決」のまませっかくの知見が埋もれてしまうことになります。
    – cubick
    Commented 2018年10月27日 17:01
  • 上の grep ですが、この場合は ID に使われた文字列が他の行に現われてはいけません。 (-w オプションがあるので、現れても良いケースもあります。詳しくはマニュアルで確認して下さい) ID の桁揃えなどをしていると、この条件を満たすことも多いと思いますが、念のため。
    – mjy
    Commented 2018年10月28日 10:58

2 件の回答 2

1
join -t',' -v2 hogehoge_list foofoo.csv

join コマンドの -v オプションを利用し、一列目で結合されなかった foofoo.csv の行のみを出力しています。両ファイルとも対象の列でソートされている必要があります。

ソートなども含めて書くと、例えば以下のようになります。

#!/bin/sh

# エラーで即時終了, > (リダイレクト)による上書き禁止
set -eC

# join コマンドのため、少なくとも一列目はソートされている必要がある
LC_ALL=C sort hogehoge_list -t',' >delete_ids.txt
LC_ALL=C sort foofoo.csv -t',' >all.csv

LC_ALL=C join -t',' -v2 delete_ids.txt all.csv >out.csv
1

AWK でもよろしければ、次の one-liner はいかがでしょうか。

awk -F, 'FNR==NR{a[$1]++; next} !a[$1]' hogehoge_list foofoo.csv
  • -F, でフィールドセパレーターを "," に設定します
  • FNRNR に等しい時、つまり最初のファイル hogehoge_list が読まれている間は {...} 内の処理が実行されます。ここで hogehoge_list 内のIDが連想配列に蓄えられます
  • 2番目のファイル foofoo.csv が読まれている間は次の !a[$1] が処理されます。つまりhogehoge_list に含まれていない時のみ、デフォルト動作である print が実行されます

AWKで複数のファイルを処理する際の定番ですが、ご参考まで。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。