Skip to main content
質問文を読み間違えていたので修正しました。
ソース リンク
nekketsuuu
  • 2.4万
  • 12
  • 53
  • 117

システム間でのユーザー ID 対応に多対一対応が無い、かつ、システムの数自体が動的に増減するといったことが無いのであれば、同一行にそれぞれのシステムでの ID が載ったテーブルを作れば良いのではないでしょうか。

つまり、以下のようなテーブルではなく、

src,   ID1,  dst,   ID2
------------------------
sys01, A001, sys02, B002
sys01, A003, sys02, B011
sys01, A005, sys02, B021
sys02, B001, sys03, C050
sys02, B021, sys03, C101
sys01, A001, sys03, C102
sys01, A003, sys03, C111

以下のようにデータを持てば解決しませんでしょうか。一番左の列は primary key で、それ以外の列は nullable です。

PK, sys01, sys02, sys03
-----------------------
1,  A001,  B002,  C102
2,  A003,  B011,  C111
3,  A005,  B021,  C101
4,  null,  B001,  C050

現状の元テーブルは ID 対応のグラフの辺を列挙したような形になっているせいで、本当に知りたい情報である所の、グラフの連結成分を求める計算に計算コストがかかるようになっていそうです。データの持ち方を上記のように変えることで連結成分を行として持っておけば、今回の問題は解決しませんでしょうか。

高々数万行千万行程度しか元テーブルの行が無いのであれば、テーブルのデータをすべてローカル環境に持ってきてローカルにてお好きな言語で計算し新しいテーブルに insert する、という計算はすぐそこまで時間がかからず終わるのではないかなと思います。上のような表記の文字列としてデータを受け渡ししたとしても元テーブルは 1 行 20 byte そこらで、ということは 1000 万行あっても 20 万 byte ≒ 200 kBMB 程度です。

システム間でのユーザー ID 対応に多対一対応が無い、かつ、システムの数自体が動的に増減するといったことが無いのであれば、同一行にそれぞれのシステムでの ID が載ったテーブルを作れば良いのではないでしょうか。

つまり、以下のようなテーブルではなく、

src,   ID1,  dst,   ID2
------------------------
sys01, A001, sys02, B002
sys01, A003, sys02, B011
sys01, A005, sys02, B021
sys02, B001, sys03, C050
sys02, B021, sys03, C101
sys01, A001, sys03, C102
sys01, A003, sys03, C111

以下のようにデータを持てば解決しませんでしょうか。一番左の列は primary key で、それ以外の列は nullable です。

PK, sys01, sys02, sys03
-----------------------
1,  A001,  B002,  C102
2,  A003,  B011,  C111
3,  A005,  B021,  C101
4,  null,  B001,  C050

現状の元テーブルは ID 対応のグラフの辺を列挙したような形になっているせいで、本当に知りたい情報である所の、グラフの連結成分を求める計算に計算コストがかかるようになっていそうです。データの持ち方を上記のように変えることで連結成分を行として持っておけば、今回の問題は解決しませんでしょうか。

高々数万行程度しか元テーブルの行が無いのであれば、テーブルのデータをすべてローカル環境に持ってきてローカルにてお好きな言語で計算し新しいテーブルに insert する、という計算はすぐ終わるのではないかなと思います。上のような表記の文字列としてデータを受け渡ししたとしても元テーブルは 1 行 20 byte そこらで、ということは 1 万行あっても 20 万 byte ≒ 200 kB 程度です。

システム間でのユーザー ID 対応に多対一対応が無い、かつ、システムの数自体が動的に増減するといったことが無いのであれば、同一行にそれぞれのシステムでの ID が載ったテーブルを作れば良いのではないでしょうか。

つまり、以下のようなテーブルではなく、

src,   ID1,  dst,   ID2
------------------------
sys01, A001, sys02, B002
sys01, A003, sys02, B011
sys01, A005, sys02, B021
sys02, B001, sys03, C050
sys02, B021, sys03, C101
sys01, A001, sys03, C102
sys01, A003, sys03, C111

以下のようにデータを持てば解決しませんでしょうか。一番左の列は primary key で、それ以外の列は nullable です。

PK, sys01, sys02, sys03
-----------------------
1,  A001,  B002,  C102
2,  A003,  B011,  C111
3,  A005,  B021,  C101
4,  null,  B001,  C050

現状の元テーブルは ID 対応のグラフの辺を列挙したような形になっているせいで、本当に知りたい情報である所の、グラフの連結成分を求める計算に計算コストがかかるようになっていそうです。データの持ち方を上記のように変えることで連結成分を行として持っておけば、今回の問題は解決しませんでしょうか。

高々数千万行程度しか元テーブルの行が無いのであれば、テーブルのデータをすべてローカル環境に持ってきてローカルにてお好きな言語で計算し新しいテーブルに insert する、という計算はそこまで時間がかからず終わるのではないかなと思います。上のような表記の文字列としてデータを受け渡ししたとしても元テーブルは 1 行 20 byte そこらで、ということは 1000 万行あっても 2 byte ≒ 200 MB 程度です。

ソース リンク
nekketsuuu
  • 2.4万
  • 12
  • 53
  • 117

システム間でのユーザー ID 対応に多対一対応が無い、かつ、システムの数自体が動的に増減するといったことが無いのであれば、同一行にそれぞれのシステムでの ID が載ったテーブルを作れば良いのではないでしょうか。

つまり、以下のようなテーブルではなく、

src,   ID1,  dst,   ID2
------------------------
sys01, A001, sys02, B002
sys01, A003, sys02, B011
sys01, A005, sys02, B021
sys02, B001, sys03, C050
sys02, B021, sys03, C101
sys01, A001, sys03, C102
sys01, A003, sys03, C111

以下のようにデータを持てば解決しませんでしょうか。一番左の列は primary key で、それ以外の列は nullable です。

PK, sys01, sys02, sys03
-----------------------
1,  A001,  B002,  C102
2,  A003,  B011,  C111
3,  A005,  B021,  C101
4,  null,  B001,  C050

現状の元テーブルは ID 対応のグラフの辺を列挙したような形になっているせいで、本当に知りたい情報である所の、グラフの連結成分を求める計算に計算コストがかかるようになっていそうです。データの持ち方を上記のように変えることで連結成分を行として持っておけば、今回の問題は解決しませんでしょうか。

高々数万行程度しか元テーブルの行が無いのであれば、テーブルのデータをすべてローカル環境に持ってきてローカルにてお好きな言語で計算し新しいテーブルに insert する、という計算はすぐ終わるのではないかなと思います。上のような表記の文字列としてデータを受け渡ししたとしても元テーブルは 1 行 20 byte そこらで、ということは 1 万行あっても 20 万 byte ≒ 200 kB 程度です。