4
A,"100",Z
B,"1,000",Z
C,"1,000,000",Z

A,"100",Z
B,"1000",Z
C,"1000000",Z

に変更したいのですが、sed,awk,linux等ではどのようにするのでしょうか?

2
  • GNU awk の FPAT を使って gawk -vOFS=, -vFPAT='([ \t]*".+?"[ \t]*|[^,]*?)' '{for(i=1;i<=NF;i++){if($i~/^[ \t]*"/){gsub(",","",$i)}};print}' data.csv かなり野暮ったいし、"" で囲まれたフィールドに改行が含まれていたり、ダブルクォート文字('\"')が含まれていると期待した結果は得られません。
    – user39889
    Commented 2017年7月25日 11:14
  • 4
    ですので、事情が許すのであれば python や ruby を使う方がよろしいのではないかと思いますけれども。
    – user39889
    Commented 2017年7月25日 11:24

5 件の回答 5

1

Gawk 4.0以降が使えるなら, gawk の FPAT で処理できるようです. ただし, 改行やダブルクオートが含まれているケースには未対応です.

$ gawk -v OFS=, -vFPAT='([^,]*)|("[^"]+")' '{for(i=1;i<=NF;i++){if($i~/^[ \t]*"/){gsub(",","",$i)}}; print}'

Defining Fields by Contentとmetropolisさんのコメントを参考にして, 0文字のフィールドにも対応するため, ([^,]+) の箇所を ([^,]*) にしました.

Gawk-4以前しか使えない環境であれば, awkよりも, Cが書きやすいと思います.
こちらは改行やダブルクオートにも対応しています.

#include <stdio.h>
static int parse_element_quoted()
{
 int c;
 while((c=getchar())!=EOF) {
  switch (c) {
   case '"':
    c = getchar();
    if(c=='"') {
     // 「"」2個連続するのは元のデータに「"」が1個ある場合.
     // putchar('"'); 「""」から「"」に変換するときはこの行は不要
     putchar('"');
     break;
    }
    else {
     putchar('"'); // 「"」を取るなら不要 (A)
     putchar(c);
     return 0;
    }
   case '\r':
   case '\n':
   // case '\\':
   case ',':
    // ignore (remove) them
    break;
   default:
    putchar(c);
  }
 }
 return 1;
}
static int parse_element()
{
 int c = getchar();
 if(c==EOF)
  return 1;
 else if(c=='"') { 
  putchar('"'); // 「"」を取るなら不要 (B)
  return parse_element_quoted();
 }
 else {
  putchar(c);
  if(c=='\n' || c==',')
   return 0;
  while((c=getchar())!=EOF) {
   switch (c) {
    case ',':
    case '\n':
     putchar(c);   
     return 0;
    case '\r':
     break;
    default:
     putchar(c);   
   }
  }
  return 1;
 }
}
int main()
{
 while(parse_element()==0);
 return 0;
}

個人的には, 「,」を削除して一緒に「"」も削除したほうが, 後の処理が楽だと思います.
その場合は, 上記コードの(A)と(B)の行をコメントアウトしてください.

2
  • ありがとうございます。ただ、awk使う際、 A,"1,000","100,000",Z のように数字が並んでいるとA,"1000""100000",Z のように、数字がくっついてしまうのですが、こA,"1000","100000",Zのように識別するにはどうしたらいいのでしょうか?
    – user23889
    Commented 2017年7月26日 4:50
  • 試してみたのですが, 私のgawk-4.1.3では再現しませんでした. print $i;gsubの前に付けるなどで, なにか参考になる情報がでてくるかもです.
    – kamae
    Commented 2017年7月26日 11:27
1

sed だとこんな感じです。ただし、元の文字列にタブ文字を含まないことが前提です。

sed '-e s/"\([^"]*\)"/\tA\1\tB/g;:loop;s/\(\tA[^\t]*\),/\1/g;tloop;s/\t./"/g'

タブ文字をバリアに使い、引用符の開き・閉じを \tA, \tB に置換します。
\tA から始まる文字列のカンマをループで一文字ずつ削除して
削除するものが無くなったら \tA, \tB を元の引用符に戻しておしまい。

1

ワンライナーだと、そのまんまで改行部分にセミコロンです。

awk 'BEGIN {FS="\"";OFS="\""};{gsub(",", "",$2);print}' data.csv
0

もっと単純に、この書き方でどうでしょう?

cat data.csv | awk 'match($0, /".*?"/){tmp0 = substr($0, RSTART, RLENGTH); tmp1 = tmp0; tmp2 = gsub(/,/,"",tmp0); sub(tmp1, tmp0, $0); print $0}'

1行中に複数の ”で囲まれたデータが来ると処理がおかしくなると思うのですが、私がawkの繰り返し処理がすぐに浮かばないので、以下phpで書きます。

$csv_data = '
    A,"100",Z
    B,"1,000","1,000",Z,"1,000"
    C,"1,000,000",Z
    ';
$array0 = array();
$end_flag = false;

do{
    $end_flag = false;
    $array = explode('"',$csv_data,2);
    if(count($array) > 1){
        $array0[] = $array[0].'"';
        $array2 = explode('"',$array[1],2);
        if(count($array2) > 1){
            $array0[] = str_replace(',','',$array2[0]).'"';
            $csv_data = $array2[1];
            $end_flag = true;
        }else{
            $array0[] = $array2[0];
        }
    }else{
        $array0[] = $array[0];
    }
} while($end_flag);

echo implode('', $array0);
0

awkで、フィールドセパレータをダブルコーテーションにしてみました。
実行ファイル jikko.bat

awk -f src.txt < data.csv

ソースファイル src.txt

BEGIN {FS="\"";OFS="\""}
{gsub(",", "",$2);print}

ワンライナーの方法を教えて下さい。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。