pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])
で削除しています。
df1 = pd.DataFrame({'fruit':['apple', 'orange', 'banana'], 'price': [300, 200, 150], 'store': ['A', 'B', 'C']})
df2 = pd.DataFrame({'fruit':['apple', 'orange', 'banana', 'strawberry'], 'price': [300, 200, 200, 120], 'store': ['A', 'C', 'C', 'A']})
pd.concat([df1, df2]).drop_duplicates(subset=['fruit', 'store'], ignore_index=True)
fruit price store
0 apple 300 A
1 orange 200 B
2 banana 150 C
3 orange 200 C
4 strawberry 120 A
重複データは削除したいのですが、追加データの価格だけは更新したく、
以下のようなデータフレームにしたいと考えています。
何かシンプルで良い方法はありませんでしょうか。
fruit price store
0 apple 300 A
1 orange 200 B
2 banana 200 C
3 orange 200 C
4 strawberry 120 A
drop_duplicates
をkeep='last'
で後者のデータを残せばよいのですが、
データの順序を変えたくなく、良い方法を探しています。
よろしくお願いします。
【2020/10/21 追記】
おおよそ解決したのですが、仮にもっとデータの列があった場合、
例えば連結したデータフレームが以下のように'rank'があったとします。
fruit price store rank
0 apple 300 A Awesome
1 orange 200 B Great
2 banana 150 C Good
3 apple 300 A Awesome
4 orange 200 C Good
5 banana 200 C Good
6 strawberry 120 A Great
重複を削除し、'rank'
のデータは更新せずに'price'
だけを更新したく、
私は以下のようにコードを記述しました。
for x in dfx.groupby(['fruit', 'store']).groups.items():
if len(x[1]) > 1:
dfx.iloc[x[1][-1]]['price'], dfx.iloc[x[1][0]]['price'] = dfx.iloc[x[1][0]]['price'].copy(), dfx.iloc[x[1][-1]]['price'].copy()
しかし以下のメッセージが生じ、SettingWithCopyWarningが出ました。
A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
やっていることに間違いがない気がし、エラーのメッセージもデータが連鎖していることが原因だと思うのですが解決方法が思いつきませんでした。
何か良い解決方法があればよろしくお願いします。