0

Pandasで以下のコードような計算をすると、1時間程度かかってしまいます。
df1を使ってdf2の各項目のデータを計算しています。
一般にfor文を使うと時間がとてもかかると聞きましたが、では以下のコードをどう改善すれば実行時間をみじかくできるでしょうか?

df1の行数が50万であり、以下のコードではfor文で1行ずつ参照しています。

df1 = pd.DataFrame(***)
df2 = pd.DataFrame(***)
for i in range(500000):
  df2.ix[df2['CustomerID'][i],df2['ProductID'][i]] += df2['Quantity'][i]




-------追記(2/12 19:38)-------

コメントでご指摘くださった通り、コードを書き間違えていました。
4行目は正しくは以下の通りです。

  df2.ix[df1['CustomerID'][i],df1['ProductID'][i]] += df1['Quantity'][i]
2
  • 4行目に df1 が使われていませんが、何か間違っていないでしょうか?
    – KoRoN
    2017年2月12日 9:56
  • @KoRoN 様 間違えておりました。ご指摘ありがとうございます。 2017年2月12日 10:41

1 件の回答 1

1

実現したいことはdf1のデータのCustomerIDProductIDQuantityで重みづけしてクロス集計したいということですね。pandasにはcrosstabというクロス集計用関数がありこの場合以下のように使います

import numpy
df2 = pd.crosstab(df1.CustomerID, df1.ProductID, values=df1.Quantity, aggfunc=numpy.sum)

引数としてはdf1.CustomerIDdf1.ProductIDをクロス集計の対象にする。集計する値はdf1.Quantityを使いどのように足し上げるかを指定する引数aggfuncには単純に和をとる関数を指定するというふうにしています。
どのくらい速度がでるかはデータにもよりますが、ランダムに作ったデータで手元で実験してみると100000行で42sec->0.13secのように高速化しました。なおdf2にもと値が入っていてそれにさらに足し上げたい場合はdf2 += pd.crosstab(df1.CustomerID, df1.ProductID, values=df1.Quantity, aggfunc=numpy.sum)とすればよいと思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。