Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい
Input Data
col1,col2
"a",1
"a",2
"b",1
Export Data
col1,col2_array
"a",1,2
"b",1
GROUP_CONCATで結合した後に、SPLITで再分割する
GROUP_CONCATは文字列にしか使えないけど、数値の場合はSTRING()で変換すればOK
SELECT
col1,
SPLIT(GROUP_CONCAT(STRING(col2), ","), ",") AS col2_array
FROM
[sample.groupconcat]
GROUP BY
col1
col2の値をUNIQUEにしたい場合はUNIQUE()を追加すればOK
SELECT
col1,
SPLIT(GROUP_CONCAT(STRING(UNIQUE(col2)), ","), ",") AS col2_array
FROM
[sample.groupconcat]
GROUP BY
col1
ただ、QueryのResponseは通常FLATTENされるため、Repeated Filedとして維持したい場合は、Query実行時のFlatten Resultsを外してやる必要があります。
bq queryの場合はこんな感じ
bq query --flatten_results=false --allow_large_results=true --destination_table=cp300demo1:worktable.test 'SELECT col1, SPLIT(GROUP_CONCAT(STRING(UNIQUE(col2)), ","), ",") AS col2_array FROM [sample.groupconcat] GROUP BY col1'