1

pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。

df1 = pd.DataFrame({'fruit':['apple', 'orange', 'banana'], 'price': [300, 200, 150], 'store': ['A', 'B', 'C']})
df2 = pd.DataFrame({'fruit':['apple', 'orange', 'banana', 'strawberry'], 'price': [300, 200, 200, 120], 'store': ['A', 'C', 'C', 'A']})
pd.concat([df1, df2]).drop_duplicates(subset=['fruit', 'store'], ignore_index=True)

  

      fruit  price store
0       apple    300     A
1      orange    200     B
2      banana    150     C
3      orange    200     C
4  strawberry    120     A

重複データは削除したいのですが、追加データの価格だけは更新したく、
以下のようなデータフレームにしたいと考えています。
何かシンプルで良い方法はありませんでしょうか。

    fruit  price store
0       apple    300     A
1      orange    200     B
2      banana    200     C
3      orange    200     C
4  strawberry    120     A

drop_duplicateskeep='last'で後者のデータを残せばよいのですが、
データの順序を変えたくなく、良い方法を探しています。
よろしくお願いします。

【2020/10/21 追記】
おおよそ解決したのですが、仮にもっとデータの列があった場合、
例えば連結したデータフレームが以下のように'rank'があったとします。

        fruit  price store     rank
0       apple    300     A  Awesome
1      orange    200     B    Great
2      banana    150     C     Good
3       apple    300     A  Awesome
4      orange    200     C     Good
5      banana    200     C     Good
6  strawberry    120     A    Great

重複を削除し、'rank'のデータは更新せずに'price'だけを更新したく、
私は以下のようにコードを記述しました。

for x in dfx.groupby(['fruit', 'store']).groups.items():
   if len(x[1]) > 1:
       dfx.iloc[x[1][-1]]['price'], dfx.iloc[x[1][0]]['price'] = dfx.iloc[x[1][0]]['price'].copy(), dfx.iloc[x[1][-1]]['price'].copy()

しかし以下のメッセージが生じ、SettingWithCopyWarningが出ました。

 A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy

やっていることに間違いがない気がし、エラーのメッセージもデータが連鎖していることが原因だと思うのですが解決方法が思いつきませんでした。

何か良い解決方法があればよろしくお願いします。

1 件の回答 1

1

【2020/10/21 追記】
おおよそ解決したのですが、仮にもっとデータの列があった場合、例えば連結したデータフレームが以下のように'rank'があったとします。

        fruit  price store     rank
0       apple    300     A  Awesome
1      orange    200     B    Great
2      banana    150     C     Good
3       apple    300     A  Awesome
4      orange    200     C     Good
5      banana    200     C     Good
6  strawberry    120     A    Great

SettingWithCopyWarning を回避するために、pandas.DataFrame.iloc ではなく、pandas.DataFrame.loc を使います。
また、値をスワップする必要はなく、各グループ内の先頭(最初)の価格データに末尾(最後)の価格をコピーするだけにしています。

import pandas as pd
df1 = pd.DataFrame({
  'fruit': ['apple', 'orange', 'banana'],
  'price': [300, 200, 150],
  'store': ['A', 'B', 'C'],
   'rank': ['Awesome', 'Great', 'Good']
})
df2 = pd.DataFrame({
  'fruit': ['apple', 'orange', 'banana', 'strawberry'],
  'price': [300, 200, 200, 120],
  'store': ['A', 'C', 'C', 'A'],
   'rank': ['Awesome', 'Good', 'Good', 'Great']
})

dfx = pd.concat([df1, df2], ignore_index=True)
for x in dfx.groupby(['fruit', 'store']).groups.items():
  if len(x[1]) > 1:
    dfx.loc[x[1][0], 'price'] = dfx.loc[x[1][-1], 'price']

dfx.drop_duplicates(subset=['fruit', 'store'], ignore_index=True, inplace=True)
print(dfx)

=>
        fruit  price store     rank
0       apple    300     A  Awesome
1      orange    200     B    Great
2      banana    200     C     Good
3      orange    200     C     Good
4  strawberry    120     A    Great
シンプルで良い方法、ではありませんが、`pandas.DataFrame.groupby` でグループ化した後、それぞれのグループ内で、先頭(最初)と末尾(最後)の index 値に対応する行を入れ替えます(swap)。この状態で `drop_duplicates` を実行すると、`price` の値は最後に追加したデータの値になります。
dfx = pd.concat([df1, df2], ignore_index=True)
for x in dfx.groupby(['fruit', 'store']).groups.items():
  if len(x[1]) > 1:
    ## swap head and tail
    dfx.iloc[x[1][-1]], dfx.iloc[x[1][0]] = dfx.iloc[x[1][0]].copy(), dfx.iloc[x[1][-1]].copy()

dfx.drop_duplicates(subset=['fruit', 'store'], ignore_index=True, inplace=True)
print(dfx)

=>
        fruit  price store
0       apple    300     A
1      orange    200     B
2      banana    200     C
3      orange    200     C
4  strawberry    120     A
2
  • 回答ありがとうございます。上記の方法で得たいものは得ることができました。上記に少し付け加えて’price’のみの更新をしようとdfx.iloc[x[1][-1]]['price']を使用したところ、SettingWithCopyWarningが発生しました。詳細を追記しましたので何か良い方法ありましたらアドバイスお願いします。 Commented 2020年10月21日 0:44
  • たびたび回答ありがとうございます。上記をilocからlocをに変える表現が思いつかなかったで非常に助かりました。 Commented 2020年10月22日 0:40

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。