BigQuery上のテーブルを複数結合させた結果を取得したいのですが、本来取得したい500件に対して数十万件が取得されてしましいます。
JOINの条件が間違っているのでしょうか。
merge_tableで取得したデータ時点では500件取得できるのですが、それ以降の計算クエリを結合していくと件数が増加していきます。
詳細は伏せますが、クエリは下記です。
WITH merge_table AS (
-- BQのテーブル1と2をマージ
WITH table_1 AS (
SELECT
id,
name,
date
FROM
`[BQのテーブル1]`
UNION
DISTINCT
SELECT
id,
name,
date
FROM
`[BQのテーブル2]`
),
-- BQのテーブル3と2をマージ
table_2 AS (
SELECT
id,
age
FROM
`[BQのテーブル3]`
UNION
DISTINCT
SELECT
id,
age
FROM
`[BQのテーブル2]`
),
-- BQのテーブル4と2をマージ
table_3 AS (
SELECT
id,
price
FROM
`[BQのテーブル4]`
UNION
DISTINCT
SELECT
id,
price
FROM
`[BQのテーブル2]`
)
-- merge_table、BQ5、BQ6を1つのテーブルとして取得
SELECT
[マージしたテーブルから取得したいカラム]
FROM
`[BQのテーブル5]` AS BQ5
FULL OUTER JOIN `[BQのテーブル6]` AS BQ6 ON BQ5.id = BQ6.id
FULL OUTER JOIN table_1 USING(id)
JOIN table_2 ON table_1.id = table_2.id
JOIN table_3 ON table_2.id = table_3.id
),
-- 計算1
calculation_1 AS (
SELECT
merge_table.id,
[計算式]
FROM
merge_table
JOIN `[BQのテーブル7]` AS BQ7 ON merge_table.id = BQ7.id
),
-- 計算2
calculation_2 AS (
SELECT
BQ5.id,
[計算式]
FROM
`[BQのテーブル7]` AS BQ7
JOIN `[BQのテーブル5]` AS BQ5 ON BQ7.id = BQ5.id
JOIN calculation_1 ON BQ5.id = calculation_1.id
),
-- 計算3
calculation_3 AS (
SELECT
merge_table.id,
[計算式]
FROM
`merge_table`
JOIN `calculation_2` ON merge_table.id = calculation_2.id
)
SELECT
merge_table.*,
calculation_1.[計算で得られた結果],
calculation_2.[計算で得られた結果1],
calculation_2.[計算で得られた結果2],
calculation_3.[計算で得られた結果1],
calculation_3.[計算で得られた結果2]
FROM
merge_table
JOIN calculation_1 ON calculation_1.id = merge_table.id
JOIN calculation_2 ON calculation_1.id = calculation_2.id
JOIN calculation_3 ON calculation_2.id = calculation_3.id