Skip to main content
本文から 4 文字削除
ソース リンク
wood
  • 11
  • 3

E-R図
E-R図E-R図

E-R図
E-R図

E-R図

本文に 616 文字追加
ソース リンク
wood
  • 11
  • 3

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、リレーション設計T1:T2,T1:T3 が1:N以下関係ようになっています。

  • リレーションはT1:T2,T1:T3 が1:Nの関係になっています。
  • インデックスは作成しておりません。
  • 各テーブルのidをプライマリーキーに設定しています。
  • created_at はtimestamp型です。
WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

また、created_at``T1_idにインデックスを作成していないためかと考えたのですが、DETELE⇒SELECT に変えた場合数秒でクエリが実行できたので、インデックスが原因ではないと考えています。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

SELECT
  * 
FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、リレーションT1:T2,T1:T3 が1:N関係になっています。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、設計以下ようになっています。

  • リレーションはT1:T2,T1:T3 が1:Nの関係になっています。
  • インデックスは作成しておりません。
  • 各テーブルのidをプライマリーキーに設定しています。
  • created_at はtimestamp型です。
WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

また、created_at``T1_idにインデックスを作成していないためかと考えたのですが、DETELE⇒SELECT に変えた場合数秒でクエリが実行できたので、インデックスが原因ではないと考えています。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

SELECT
  * 
FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"
本文に 10 文字追加; タイトルを編集
ソース リンク
cubick
  • 2.1万
  • 5
  • 27
  • 64

Postgres DB 大量 PostgreSQL で大量のデータ削除を行いたい

Postgres DBのPostgreSQL のデータ削除に関して、大量のデータの削除が出来ず困っています。

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、リレーションはT1:T2,T1:T3 が1:Nの関係になっています。

E-R図
E-R図

削除では、T1,T2のデータを削除するが、T3に存在する場合は削除しないように、以下のSQLで実行しています。
T2の削除は行えるのですが、T1だけなぜか3時間以上経過しても終了していませんでした。
この時のT1で削除対象となっていたレコードは40万件ほどありました。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

環境
PostgresPostgreSQL 12

Postgres DB 大量のデータ削除を行いたい

Postgres DBのデータ削除に関して、大量のデータの削除が出来ず困っています。

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、リレーションはT1:T2,T1:T3 が1:Nの関係になっています。
E-R図

削除では、T1,T2のデータを削除するが、T3に存在する場合は削除しないように、以下のSQLで実行しています。
T2の削除は行えるのですが、T1だけなぜか3時間以上経過しても終了していませんでした。
この時のT1で削除対象となっていたレコードは40万件ほどありました。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

環境
Postgres 12

PostgreSQL で大量のデータ削除を行いたい

PostgreSQL のデータ削除に関して、大量のデータの削除が出来ず困っています。

毎日2万件ほどデータが追加されるアプリケーションで、ストレージを圧迫しないようある程度過去のデータはcronを使用して定期的に削除をしています。
削除はpsqlコマンドを使用し、SQLを直接実行しています。
テーブルはT1,T2,T3があり、リレーションはT1:T2,T1:T3 が1:Nの関係になっています。

E-R図
E-R図

削除では、T1,T2のデータを削除するが、T3に存在する場合は削除しないように、以下のSQLで実行しています。
T2の削除は行えるのですが、T1だけなぜか3時間以上経過しても終了していませんでした。
この時のT1で削除対象となっていたレコードは40万件ほどありました。

WITH delete_id (
  SELECT 
    id
  FROM
    T1
  WEHRE
    id NOT IN (
      SELECT
        T1_id
      FROM
        T3
    ) AND
    created_at < "2023-01-16"
)
DELETE FROM
  T2
WHERE
  T1_id IN (
    SELECT
      id
    FROM
      delete_id 
  )

DELETE FROM 
  T1
WHERE 
  id NOT IN (
    SELECT id
    FROM T3
  ) AND
  created_at < "2023-01-16"

環境
PostgreSQL 12

ソース リンク
wood
  • 11
  • 3
読み込んでいます