2

2つのdataTableからlinqを使ってデータを抽出しています。
1つは1万件強、もう1つは4万件ほどデータが入っています。
1万件程度であれば3,4分で終わるのですが、4万件になったとたんに1時間以上、処理がかかります。

同じ処理を通っているのにこの差は何でしょうか?
LINQ 複数テーブルjoinと複合条件とwhere
こちらで質問した処理を書いています。

  

List<DataClass> dataList = new List<DataClass>(); 
  DataClass kdcc = new DataClass(); 
    foreach (var item in em) {
          kdcc.ID = item.ID; 
          kdcc.DATE = item.DATE; 
          kdcc.NO = item.NO;
          kdcc.DSP_NO = item.DSP_NO;
          kdcc.BI = item.BI; 
          kdcc.NAME_ID = item.NAME_ID.ToString(); 
          dataList.Add(kdcc);
           } 

これでlinqの結果は取得できるのですが、foreachの部分はもう少し早く処理できないものでしょうか?

追記

@pgrho さん
前回教えていただいたlinq

`

from em in Table3
join c1 in table4 on em.TOUROKU_1 equals c1.TOUROKU_NO
join c2 in table4 on em.TOUROKU_2 equals c2.TOUROKU_NO
select new
{
   em.ID,
   em.DATE,
   em.NO,
   em.DSP_NO,
   BI = Table1.Where(v => em.UR == v.NoFlg && v.RTth != "0").Select(v => "R" + v.RTth).FirstOrDefault()
       + Table1.Where(v => em.UL == v.NoFlg && v.LTth != "0").Select(v => "R" + v.LTth).FirstOrDefault()
       + Table1.Where(v => em.DR == v.NoFlg && v.RTth != "0").Select(v => "r" + v.RTth).FirstOrDefault()
       + Table1.Where(v => em.DL == v.NoFlg && v.LTth != "0").Select(v => "l" + v.LTth).FirstOrDefault(),
   NAME_ID = Table2.Where(v => em.ID == v.ID
                            && c1.NAME_1 == v.TOUROKU_NO
                            && v.TOUROKU_NO != "0"
                            && em.DATE >= v.START_DATE
                            && em.DATE < v.END_DATE)
                    .Select(v => v.BCD)
                    .FirstOrDefault() // b1
            + Table2.Where(v => em.ID == v.ID
                            && c1.NAME_2 == v.TOUROKU_NO
                            && v.TOUROKU_NO != "0"
                            && em.DATE >= v.START_DATE
                            && em.DATE < v.END_DATE)
                    .Select(v => v.BCD) // b2
                    .FirstOrDefault() 
                    //TODO  +where文を追加
                `

上のlinqをこのように分けてみたのですが..最初のqueryで時間がかかっています。

`

 BCD = Table2.Where(v => em.ID == v.ID
                     && v.TOUROKU_NO != 0
                     && em.DATE >= v.START_DATE
                     && em.DATE < v.END_DATE)
                    .Select(v => v.BCD)
                    .FirstOrDefault()

`
の部分がネックなような気がします。

以下、私が考えた分けたlinqです。

`

 var query = from em in Table3
                select new {
                     ID = em.ID,
                     TOUROKU_NO = Table2.Where(a => em.ID == a.ID)
                     .Select(a =>a.TOUROKU_NO)
                     .FirstOrDefault(),
                     BCD = Table2.Where(v => em.ID == v.ID
                         && v.TOUROKU_NO != 0
                         && em.DATE >= v.START_DATE
                         && em.DATE < v.END_DATE)
                        .Select(v => v.BCD)
                        .FirstOrDefault()
                }


     var query2 = from em in Table3
                        join c1 in table4  on em.TOUROKU_1 equals c1.TOUROKU_NO
                        join c2 in table5 on em.TOUROKU_2 equals c2.TOUROKU_NO
                        join c4 in query on em.ID equals c4.ID
                   select new {
                     ID = em.ID,
                     DATE = em.DATE,
                     NO = em.NO,
                     NAME_ID = query.Where(v => em.ID == v.ID
                         && c1.NAME_1 == v.TOUROKU_NO)
                        .Select(v => v.BCD)
                        .FirstOrDefault() // c1

                    + query.where(v => em.ID == v.ID
                                      && c1.NAME_2 == v.TOUROKU_NO)
                                      .Select(v => v.BCD)
                                      .FirstOrDefault()
                    //TODO NAME_16まで同じ処理
                         };

//ここはほとんど変わらず

       var query3 = from em in Table3
                select new {
                  em.ID,
                  em.DATE,
                  em.NO,
                  em.DSP_NO,
                  em.KUBUN,
                  BUI = Table1.Where(v => em.UR == v.NoFlg && v.RTth != "0").Select(v => "R" + v.RTth).FirstOrDefault()
           + Table1.Where(v => em.UL == v.NoFlg && v.LTth != "0").Select(v => "R" + v.LTth).FirstOrDefault()
           + Table1.Where(v => em.DR == v.NoFlg && v.RTth != "0").Select(v => "r" + v.RTth).FirstOrDefault()
           + Table1.Where(v => em.DL == v.NoFlg && v.LTth != "0").Select(v => "l" + v.LTth).FirstOrDefault()
                };


                      var resultJoin = from q3 in query3
                     join q2 in query2 on  q3.KANJA_ID equals byoumei.KANJA_ID
                     select new {
                       ID = q3.KANJA_ID,
                       DATE = q3.RAIIN_DATE,
                       NO = q3.RAIIN_NO,
                       DSP_NO = q3.BUI_DSP_NO,
                       BI = q3.BUI,
                       NAME_ID = query2.Where(v => q3.DATE == v.DATE && q3.NO == v.NO).Select(v => v.NAME_ID).FirstOrDefault(),
                       KUBUN = q3.KUBUN
                     };
             `

一応、考えて書いてみましたが、考え方としてはあってますでしょうか?

コメントいただけると幸いです。

2 件の回答 2

2

先の質問のTable2.TOUROKU_NOのレコード数がTable3の件数に比例して増えている場合、処理にかかる時間は大雑把に言ってn^2からnlognのオーダーになると考えられます。ですので、件数が増加すると飛躍的に速度が遅くなることは考えられることです。

高速化のためにはTable2のクエリーを分離し、DataClassに代入する直前でC#側の処理により値を計算した方が良いでしょう。例えば、

NAME_ID = Table2.Where(v => em.ID == v.ID
                        && c1.NAME_1 == v.TOUROKU_NO
                        && v.TOUROKU_NO != "0"
                        && em.DATE >= v.START_DATE
                        && em.DATE < v.END_DATE)

上の服問い合わせからc1.NAME_1 == v.TOUROKU_NOの条件を除けばすべてのemに関連するTable2のレコードを取得できると思いますので、これらを別のSELECTで取得することが出来れば、両者をLINQ to Objectなどで結合するのは高々4万×4万×16回程度の処理で済みます。これなら悪くても数十秒程度で計算できると思います。

まずTable3に対するクエリーはカスタム結合を使用して以下のような形になるかと思います。最後に.ToList()を付加しているので、このクエリーは即時実行されます。

// 質問のquery
var query1 = from em in Table3
            from v in Table2 ON
            where v => em.ID == v.ID
                 && v.TOUROKU_NO != 0
                 && em.DATE >= v.START_DATE
                 && em.DATE < v.END_DATE
            select new {
                ID = em.ID,
                START_DATE = v.START_DATE,
                END_DATE = v.END_DATE,
                TOUROKU_NO = v.TOUROKU_NO,
                BCD = v.BCD,
            };
var list = query1.ToList();

本体のクエリーはNAME_IDが不要になりますが、かわりにNAME_1などを追加する必要があります。

// 質問のquery3
var query = from em in Table3
            join c1 in table4  on em.TOUROKU_1 equals c1.TOUROKU_NO
            join c2 in table5 on em.TOUROKU_2 equals c2.TOUROKU_NO
            select new {
              em.ID,
              em.DATE,
              em.NO,
              em.DSP_NO,
              em.KUBUN,
              BUI = Table1.Where(v => em.UR == v.NoFlg && v.RTth != "0").Select(v => "R" + v.RTth).FirstOrDefault()
                   + Table1.Where(v => em.UL == v.NoFlg && v.LTth != "0").Select(v => "R" + v.LTth).FirstOrDefault()
                   + Table1.Where(v => em.DR == v.NoFlg && v.RTth != "0").Select(v => "r" + v.RTth).FirstOrDefault()
                   + Table1.Where(v => em.DL == v.NoFlg && v.LTth != "0").Select(v => "l" + v.LTth).FirstOrDefault(),
              c1.NAME_1,
              c1.NAME_2,
              // TODO:以下省略
            };

最後に本体のクエリーを実行し、メモリ上のlistから都度検索を行います。

foreach(var item in query)
{
    DataClass kdcc = new DataClass(); 

    var bCore = list.Where(v => em.ID == v.ID
                            && v.TOUROKU_NO != "0"
                            && em.DATE >= v.START_DATE
                            && em.DATE < v.END_DATE);

    var b1 = bCore.Where(v => item.NAME_1 == v.TOUROKU_NO).Select(v => v.BCD).FirstOrDefault();
    var b2 = bCore.Where(v => item.NAME_2 == v.TOUROKU_NO).Select(v => v.BCD).FirstOrDefault();
    // TODO:以下省略

    dataList.Add(kdcc);
}

なおこの方針で実行速度が問題になる場合、

  1. listの取得(.ToList())が遅い
  2. queryの取得(foreachの先頭行)が遅い
  3. NAME_IDの計算(foreachの各行)が遅い

などの原因が考えられます。3はソート順の最適化などで多少改善できるかと思いますが、SELECT自体が低速である場合は一時テーブルやストアドプロシージャの使用を検討した方が良いかもしれません。

6
  • 回答ありがとうございます。そうですね、一度分割をしてみては?前回の質問でと言われていたので、少し試してみたのですが、そのような分割の仕方が思いつかず手詰まっておりました。一度ためしてみます。ありがとうございます。
    – BA KZ
    Commented 2016年10月28日 5:10
  • 質問を追記しました。よろしくお願いします。
    – BA KZ
    Commented 2016年10月28日 7:19
  • @BAKZ 追記部分の記述だとquery2の中で変数queryを使用しているだけなので、最終的なSQLはあまり改善していないかと思います。
    – pgrho
    Commented 2016年10月28日 12:35
  • 回答ありがとうございます。上記のクエリを書いているのですが、クエリをリスト化する時(.ToList())の箇所でAnonymousType#1の最初の引数を受け付ける拡張メソッドが見つかりませんでした。となります。匿名型なので明示的にTable2のRowをlistにしたのですが、通りませんでした。初歩的な質問で申し訳ございません。
    – BA KZ
    Commented 2016年10月31日 7:41
  • @BAKZ fromselect new { ... }にカッコが必要ですね。
    – pgrho
    Commented 2016年10月31日 7:51
0

1万件程度であれば3,4分で終わるのですが、4万件になったとたんに1時間以上、処理がかかります。

処理時間が比例していない、つまりO(n)でないということは意図していない個所で時間を要していると思われます。第三者に尋ねるのではなく、プロファイラを用いて原因個所を特定すべきです。

例えばDataClassclassstructかでも処理速度は変わってきます。それ以前にclassの場合はdataListには最終レコードの内容しか含まれないので、意図しない結果、処理速度以前の問題の可能性もあります。

4
  • 「classの場合はdataListには最終レコードの内容しか含まれないので、意図しない結果、処理速度以前の問題の可能性もあります。」とありますが、今の処理ではdataListには最後だけではなくデータ数分入ってるようです。意図していない箇所で時間を要しているというのは、foreachに入る前の処理がおかしいということでしょうか?foreachに入る前までの処理は1万件のデータ量の時とさほど変わりがないです。遅くなっている箇所の追及をしてみていろいろと改善をしてみたのですが、うまく行かずにここに書き込ませてもらいました。
    – BA KZ
    Commented 2016年10月28日 4:55
  • foreachループの外で作成した1つのインスタンスを使いまわしているので、要素数は一致しますが、すべて同じインスタンスになっていて、最後に設定した値が反映されているはずです。
    – sayuri
    Commented 2016年10月28日 6:12
  • DataClass kdcc = new DataClass(); に値を入れてList<DataClass> dataList = new List<DataClass>(); にforeachの最後にaddしていますよ。kdcc のデータは毎回上書きされても構いません。なので最後のデータだけという事にはならないと思います。
    – BA KZ
    Commented 2016年10月28日 6:24
  • List<T>のadd()メソッドって指定したオブジェクトのコピー(clone)をaddしてくれるんでしたっけ? sayuriさんのコメント通り foreach の外で インスタンス生成した オブジェクト(DataClass kdcc) への参照をAddしてるだけ(dataListの中は全て最後に設定した値)だと思います。 Commented 2016年10月28日 9:36

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。