1

PostgreSQL のデータ削除に関して、大量のデータの削除が出来ず困っています。

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、設計は以下のようになっています。

  • リレーションはT1:T2,T1:T3 が1:Nの関係になっています。
  • インデックスは作成しておりません。
  • 各テーブルのidをプライマリーキーに設定しています。
  • created_at はtimestamp型です。

E-R図

削除では、T1,T2のデータを削除するが、T3に存在する場合は削除しないように、以下のSQLで実行しています。
T2の削除は行えるのですが、T1だけなぜか3時間以上経過しても終了していませんでした。
この時のT1で削除対象となっていたレコードは40万件ほどありました。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

また、created_at``T1_idにインデックスを作成していないためかと考えたのですが、DETELE⇒SELECT に変えた場合数秒でクエリが実行できたので、インデックスが原因ではないと考えています。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

SELECT
  * 
FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

環境
PostgreSQL 12

2
  • T1 のインデックスや created_at のデータ型に依存すると思うので、その辺りの情報も記載してください。
    – sayuri
    Commented 2023年2月16日 13:25
  • WITH句にASが抜けていませんか?WEHREは綴り間違いです。また、SQL文が2文あるなら2文あると言う必要があり、文の区切り記号セミコロンが抜けており、TIMESTAMPなのか日付なのか知りませんが、リテラルは2重引用符ではなく単一引用符です。 きちんと正しく書いた上で意味が合うなら(多分合ってない)、そこから速度の話が始まります。速度を考えるなら、まずは各データの特徴(個数やカーディナリティ、可能なら分布)を説明した上で、想定される実行計画と実際の実行計画を共に提示し、不明点のみ質問してください。なお、DDL文及び初期データと実行クエリは全てコードで用意し、環境及び計測時間も明記すべきです。
    – dameo
    Commented 2023年2月22日 8:11

3 件の回答 3

1

状況を把握するためにEXPLAINを実行して、どのような実行計画になっているか確認するのが良いと思います。
(可能であれば、EXPLAIN (ANALYZE) を実行したいですが、実際にSQL文を実行する必要があるので、ひとまずはEXPLAINだけでも)

シーケンシャルアクセス等、不自然な実行計画が出力されるようなら、統計情報がおかしいことが考えられるので、pg_stat_user_tablesを確認する、統計がおかしいならVACUUM ANALYZEを実行することを検討するのが良いと思います。

1

まず可能性が高い

  • ただ処理に時間がかかっている
  • ロックが外れるのを待っているかなにかで止まっている

を切り分けましょう。簡単にはtopやパフォーマンスモニタで高い負荷がかかっている様子が見えたら前者、そうでなければ後者が疑わしいということになります。

1
  • 回答ありがとうございます。 CPUの負荷を確認したところクエリをキャンセルするまで高い状態でした。また、、10件に絞って削除を行った場合10秒程度で削除できたので、処理時間がかかっていそうでした。
    – wood
    Commented 2023年2月19日 13:44
0

PostgreSQLでも同様かは分かりませんがOracleの場合で
(NOT) IN句を(NOT) EXISTS句に書換を行った場合に
かなりのパフォーマンス改善した経験があります。
特にデータ量が多いようなので試してみてはいかがでしょうか。
使用する際はNULLには気を付けてください。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。