(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
'購入日': ['1/5', '1/5', '1/5', '1/5','1/5', '2/3', '2/3', '2/3', '3/5', '3/5', '4/1', '4/1', '4/1'],
'店舗': ['東京', '東京', '東京', '東京','東京', '千葉', '千葉', '千葉', '東京', '東京', '千葉', '千葉', '千葉'],
'商品': ['A', 'A', 'A', 'A','A', 'B', 'B', 'B', 'C', 'C', 'D', 'D', 'D'],
'売上タイプ': ['売上', '売上', '売上', '返品','返品', '売上', '返品', '返品', '売上', '返品', '売上', '売上', '返品'],
'cnt': [1, 2, 3, 1, 2, 1, 1, 2, 1, 1, 1, 2, 1]})
このうち、
同「id」「購入日」「店舗」「商品」の、”売上” に対応する "返品" があるレコードは削除したいです。<対応する>とは、"売上"のcnt "1" があり、かつ、"返品" のcnt"1" がある場合です。"売上"のcnt "1" ・"返品" のcnt "1" のレコードを共に削除したい、ということです。(・・・売上cnt"2"・返品cnt"2"同士は削除、売上cnt"3"・返品cnt"3"同士は削除・・・。対応がないレコードは残す)
上記のdfに対してこの処理を行った場合、下記のデータフレームが返るイメージです。
ans = pd.DataFrame({'id': ['111', '222', '333'],
'購入日': ['1/5', '2/3', '4/1'],
'店舗': ['東京', '千葉', '千葉'],
'商品': ['A', 'B', 'D'],
'売上タイプ': ['売上', '返品', '売上'],
'cnt': [3, 2, 2]})
データ量が2500万件ほどあるので、処理速度も考慮しつつ書きたいと思っております、。(基本のfor文だと遅くなる・・・?)アドバイスいただける方がいらっしゃいましたらお願いいたします。