0

DataFrameの抽出をしたいです。

A1 B1 C1
A1 B1 C1
A2 B2 C2
A2 B2 C3
A3 B3 C4
A3 B3 C4
A3 B3 C5

上のようなデータを下のように三列すべてが重複しないものについてはすべて残して重複を削除したいです。
(0列目A1は残さないがA3は残したい)

A2 B2 C2
A2 B2 C3
A3 B3 C4
A3 B3 C4
A3 B3 C5

しかし、
df.duplicated()を使うとこのようになります。

A2 B2 C2
A2 B2 C3
A3 B3 C5

df.duplicated(keep='last')とするとこのようになります。
A1 B1 C1
A2 B2 C2
A2 B2 C3
A3 B3 C4
A3 B3 C5

どのように書けばよいでしょうか。

1
  • Axが同じデータが1個しかない場合や/個数上限等についての規定が存在するのか? 存在する場合はどう判断するのか? と言ったこともあれば追記してみてください。
    – kunif
    Commented 2020年6月16日 9:07

1 件の回答 1

0

取り敢えず思い付いた方法で、groupby()Ax毎に分けて判定する形にしてみました。
速度とか洗練とかは考えていません。

import pandas as pd

data = [
    ['A1','B1','C1'],
    ['A1','B1','C1'],
    ['A2','B2','C2'],
    ['A2','B2','C3'],
    ['A3','B3','C4'],
    ['A3','B3','C4'],
    ['A3','B3','C5']
]

df = pd.DataFrame(data)

df2 = pd.DataFrame()
for i, g in df.groupby(0):
    if not any(g.duplicated()): ## 重複無し
        df2 = pd.concat([df2,g], ignore_index=True)
    ## 重複有るが、更に別の値も有り
    elif (g.duplicated().value_counts(sort=False)[0] > 1):
        df2 = pd.concat([df2,g], ignore_index=True)

print(df2)
3
  • ありがとうございました。解決しました。 Axに同じデータが1個しかないことは今のところは無いです。上限についても特に問題はありません。 value_counts(sort=False)は、行すべてが一致している必要がありますよね?新たにD列,E列などと追加されたとすると、どのようになりますか。Ax列とBx列が一致で、Cxが異なるものを含む(それ以外は無視するがdropはしたくない)、といった感じです。  ['A1','B1','C1','D1'], ['A1','B1','C1','D2'], ['A2','B2','C2','D3'], ['A2','B2','C3','D4'], ['A3','B3','C4','D5'], ['A3','B3','C4','D6'], ['A3','B3','C5','D7']
    – aaaa
    Commented 2020年6月17日 1:37
  • value_counts()というかduplicated()の仕様がすべて一致かどうかですね。条件が増えるなら、ラムダ式とか専用の別関数を作成して変更する必要があるでしょう。
    – kunif
    Commented 2020年6月17日 1:45
  • ありがとうございました!
    – aaaa
    Commented 2020年6月17日 1:50

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。