1

以下のようなデータを結合し、データない部分は前値保持したいと考えています。

テーブル:t1

1   a
2   b
3   c
5   e
6   f

テーブル:t2

1   aa
3   cc
4   dd
7   gg

上記をfull outer join したのは以下のようになります。

1   a   1   aa
2   b       
3   c   3   cc
        4   dd
5   e       
6   f       
        7   gg

以下のスクリプトで結合を実施しています。

drop table if exists t1;
drop table if exists t2;
create temp table t1(stamp integer, val text);
create temp table t2(stamp integer, val text);

insert into t1 values(1,'a');
insert into t1 values(2,'b');
insert into t1 values(3,'c');
insert into t1 values(5,'e');
insert into t1 values(6,'f');

insert into t2 values(1,'aa');
insert into t2 values(3,'cc');
insert into t2 values(4,'dd');
insert into t2 values(7,'gg');

with full_outer_joined as(
    SELECT coalesce(t1.stamp,t2.stamp)as stamp, t1.val as val1, t2.val as val2 FROM t1 FULL JOIN t2 ON t1.stamp = t2.stamp
)
,
carryovered as(
    select stamp,first_value(val1) over w1 as val1, first_value(val2) over w2 as val2
        from (
            select
                *
                , sum(case when val1 is null then 0 else 1 end) over (order by full_outer_joined.stamp asc ) as value_partition1
                , sum(case when val2 is null then 0 else 1 end) over (order by full_outer_joined.stamp asc ) as value_partition2
            from full_outer_joined

        )as tmp
    window w1 as (partition by value_partition1 order by value_partition1), w2 as (partition by value_partition2 order by value_partition2)
)

select * from carryovered;

その結果以下の出力となります。

1   a   aa
2   b   aa
3   c   cc
4   c   dd
5   e   dd
6   f   dd
7   f   gg

この結果は期待通りの結果なのですが、full outer joinが出力する結果の順番が保証されてないので、毎回期待通りになるのか、たまたま期待通りになるのかわからず困っています。
なお、postgrsqlのバージョンは10.7です。


追記です。
full outer join の結果が保証されず例えば以下となってしまったとき。

1   a   1   aa
2   b       
3   c   3   cc
        4   dd
5   e       
        7   gg
6   f       

前値補完した結果は以下となります。

1   a   aa
2   b   aa
3   c   cc
4   c   dd
5   e   dd
7   f   gg
6   f   gg

この結果をソートしたとしても、6の2つ目の値はggとなり、期待するddとは異なる値となってしまいます。

2
  • order by で結果をソートしてはダメなのですか?
    – Fumu 7
    Commented 2019年4月17日 2:23
  • 結果をソートするだけでは、途中で前値保持される前の状態が保証されないのではないかと考えています。
    – kiitosu
    Commented 2019年4月17日 2:26

1 件の回答 1

1

WINDOWだの、SUM OVERだの、私には使いこなせていないあれこれのSQLの機能を利用されまくっているので、(しかも手元にPostgreSQLの処理系がないので)解析に手間取ってしまいましたが、結論から言うと

full_outer_joinedの順序に依存するようなSQLにはなっていないから大丈夫

と言えます。

まず、carryoveredの内側のクエリーの結果を考えてみます。SUM OVER(ORDER BY)なんてのを使ってますが、この結果はOVER内に示したORDER BYの順序で決まりますので、full_outer_joinedの順序には依存しません。

full_outer_joinedの結果があなたのご質問の最後にあるような:

stamp val1 val2
----- ---- ----
1     a    aa
2     b       
3     c    cc
4          dd
5     e       
7          gg
6     f       

だったとしても、value_partition1, value_partition2の算出はOVER(ORDER BY)で示した順序で行われるので、結果は次のようになります。

stamp val1 val2 value_partition1 value_partition2
----- ---- ---- ---------------- ----------------
1     a    aa   1                1
2     b         2                1
3     c    cc   3                2
4          dd   3                3
5     e         4                3
7          gg   5                4
6     f         5                3

OVER(ORDER BY stamp)でのSUMなので、最後の2行の結果に注意してください。

この表をtmpとして外側のSELECT stamp, ...の処理が行われるわけです。

その部分でWINDOWw1w2はそれぞれ、

w1 as (partition by value_partition1 order by value_partition1)
w2 as (partition by value_partition2 order by value_partition2)

と定義されているわけですから、
(余計なことかもしれませんが、order by value_partition1order by value_partition2はいらないですよね。)

外側SELECTの1行目を処理している時の各WINDOWは、

w1がこの1行(value_partition1の値が1)

stamp val1 val2 value_partition1 value_partition2
----- ---- ---- ---------------- ----------------
1     a    aa   1                1

よって、first_value(val1) over w1の値はa。(1行しかないんで当たり前。)

w2がこの2行(value_partition2の値が1)

stamp val1 val2 value_partition1 value_partition2
----- ---- ---- ---------------- ----------------
1     a    aa   1                1
2     b         2                1

こちら、first_value(val2) over w2の値はaa。(非nullの値はaaだけなんで順序非依存。)

ご心配のstamp=6のときのval2をチェックしてみると、
w2がこの3行(value_partition2の値が3)

stamp val1 val2 value_partition1 value_partition2
----- ---- ---- ---------------- ----------------
4          dd   3                3
5     e         4                3
6     f         5                3

従って、first_value(val2) over w2の値はdd。(非nullの値はddだけ。)


つまり、あなたのSQLは、順序依存の部分は内側のクエリーで明示的にORDER BY stampを指定した前処理を行い、残りの部分はその前処理の結果を利用して順序依存にならないよう構成されている。

と言うことになるかと思います。従ってfull_outer_joinedの順序には依存しません。full_outer_joined用のSQLに変なORDER BYをくっつけてみればすぐ確かめられると思います。

1
  • 確かにそのとおりですね!昔は自分でもそのつもりで書いていた気がしてきました。ありがとうございました!
    – kiitosu
    Commented 2019年4月17日 10:19

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。