0

pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。

df2 = df.iloc[0:3201,:] 
#必要なデータだけ抜き出し
df2 = df2.astype(float)
#データ型変更:実数
df_index = df2.iloc[:,0]
df_alfa = df2.iloc[:,np.arange(1, 27, 3)]

A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

ilocではなく、locで”カラム名で指定”を推奨していることなのでしょうか?
計算、グラフ作成は問題なくできているのですが、気になっております。

<質問追記2018/10/16>
magichansさんへ
プログラムを再度確認してみると、
上記ではなく下記のところで表示されているエラーのようです(すみません)。
次のような計算にすすみ、

index=df_alfa.index
ave = df_alfa.mean(axis=1) 
std = df_alfa.std(axis=1)

ここまで問題なし。
次の2行でをアクティブにするとエラーが表示されるとわかりました。

df_alfa["ave"] = ave
df_alfa["STD"] = std

平均と標準偏差を行毎に算出して、
その計算結果を元のデータフレームdf_alfaに追加するために、上記を行なっています。
その後、グラフ化へ。。

ここの指定の方法に問題ありますでしょうか?

Yasuhiroさんへ
<質問追記2018/10/16>
もともと読み込んだデータの一部の行列に"NaN"や"Int"が含まれていて、floatで読み込みたい数値がobjectになっていたため、NaNやIntの処理後に必要なデータ全体を一括float指定するために行った操作です。ここはオリジナルデータ(df2)を上書き変更していると思っておりましたが、コピーが生成されるということなのですね?オリジナルを上書きする方法はございますか?もしくは、

df3 = df2.astype(float)

と別名にした方が賢明?? 混同・思い違いを避けるために。

Yasuhiroさんへ
<質問追記2018/10/16 その2>
ありがとうございます。

df2 = df.iloc[0:3201,:] 
df2 = df2.astype(float) #ここでコピーが作成される

df2 = df2.set_index(0)
df_alfa = df2.iloc[:,np.arange(1, 27, 3)]
df2["ave"] = df_alfa.mean(axis=1) 
df2["STD"] = df_alfa.std(axis=1)

についてですが、最終的には必要な列をピックアップした”df_alfa”に
、”df_alfa"のデータから算出した”ave”と”STD”の2列を追加して"df_alfa"を可視化
という流れが私のやりたいことなのですが、その場合、上記の最後の2行は、

df_alfa["ave"] = df_alfa.mean(axis=1) 
df_alfa["STD"] = df_alfa.std(axis=1)

と変更しても大丈夫ですか?
なんとなく不安なので、一旦、データフレーム外に算出して(書き出して)、
計算後にそれら2列を追加したのですが。
"平均と標準偏差の計算"と"2つの列の追加”の処理がぶつからないかと心配??
もし、そうであれば(邪魔するのであれば)、

ave = df_alfa.mean(axis=1) 
std = df_alfa.std(axis=1)

として、その後

df_alfa["ave"] = ave
df_alfa["STD"] = std

と2段階で2列を追加した方が賢明??
(10/16 20:00時点:こちらで上記についてプログラム走らせて確認した結果、2段階に分けてしないと計算結果が合いませんでした。)

そもそもここで、index,ave,stdを書き出したのは、後のmatplotlib.pyplotでの
データ可視化(グラフに表示させる)のために指定しました。

ax = fig.add_subplot(111)
ax.plot(index, ave)
ax.errorbar(index,ave,yerr=std,...)

ここで、pandasのDataFrame.plotを使えば、こんな指定は必要なく、
DataFrameの列名で指定できるので簡単なのですが...。
エラーバーの表示でpandasのplotで上手く行かない事があり..
この件は、別に質問あげる予定です。

2
  • 残念ながら、私の環境(pandas 0.22.0/0.23.4)では上記のコードのみでは SettingWithCopyWarning は再現できませんでした。 本当に上記のコードにてWarningが再現しますか?どこか生成したDataFrameに値をの代入している箇所はありませんか?pandasのVersionは何ですか?
    – magichan
    2018年10月15日 23:38
  • magichansさんへ<質問追記2018/10/16>しました。 2018年10月16日 0:58

2 件の回答 2

2

簡単に説明しますと、Warningのリンク先にも記述されておりますが。
例えば

df_tmp = df.iloc[10:20]
df_tmp[5] = 55

のように記述された場合、開発者の意図としては

【1】 df から10行目から19行目を df_tmp にコピーして、そのコピー先の df_tmp に対してのみ 5列目を更新したい

【2】 (df_tmp は df の単なるViewであり)開発者は df に対して 10行目から19行目の 5列目 を更新したい

のどちらか(判別が付きませんが)となります。

で、もしこの【2】の意図として書いているのであれば、

df.iloc[10:20, 5] = 55

と書いてね。というのがこの Warningの意味となります。

上記の例ではあまり問題にならないかもしれませんが、上記のコードを1行でまとめて

df.iloc[10:20][5] = 55

のように記述されると問題が顕著化します。

ですので【1】の意図として使用しているのであれば、Warningを無視していただいて構いません。
どうしても気になるのであればdf_tmpはViewとしてのではなくコピーとして使用する事を明示的に

df_tmp = df.iloc[10:20].copy()
df2 = df_tmp[5]

と示すとよいかとおもいます。

で、現在のコードを確認すると

df_alfa = df2.iloc[:,np.arange(1, 27, 3)]
df_alfa["ave"] = ave

という処理をしているようですので、この部分が上記の Warningの対象となったのかと思います。

1

Warning のリンク先 http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy をみると以下のような記述があります。質問で出ている Warning は、バグによるものではないでしょうか。

Sometimes a SettingWithCopy warning will arise at times when there’s no obvious chained indexing going on. These are the bugs that SettingWithCopy is designed to catch! Pandas is probably trying to warn you that you’ve done this:

def do_something(df):
   foo = df[['bar', 'baz']]  # Is foo a view? A copy? Nobody knows!
   # ... many lines here ...
   foo['quux'] = value       # We don't know whether this will modify df or not!
   return foo

Yikes!

<質問追記2018/10/16>magichansさんへに対する回答

ドキュメントのバグの例と同様のケースなのでpandasのバグだと思います。ただ、pandaの場合どんどん変数を作っていくのは、ViewかCopyかわからなくなってしまうので、あまり賢明な方法ではないと思います。以下のようにdf_alfaではなくてdf2を使って作業するとwarningも消えるし、メモリーの消費も減ると思います。

df2 = df.iloc[0:3201,:] 
df2 = df2.astype(float) #ここでコピーが作成される

df2 = df2.set_index(0)
df_alfa = df2.iloc[:,np.arange(1, 27, 3)]
df2["ave"] = df_alfa.mean(axis=1) 
df2["STD"] = df_alfa.std(axis=1)

<質問追記2018/10/16>Yasuhiroさんへに対する回答

質問のコードだけでワーニングになる理由がよくわからなくて書いたので、df2 = df2.astype(float)で問題はありません。

なお、df2 = df.iloc[0:3201,:]では、df2はdfのViewですが、 df2 = df2.astype(float)とすることで新しいコピーが作成されて、dfとは別のメモリー空間になります。それで、df2に変更を加えたらdfが変更されてしまうという副作用が起こらなくなります。

5
  • Yasuhiroさんへ、ありがとうございます。もともと読み込んだデータの一部の行列に"NaN"や"Int"が含まれていて、floatで読み込みたい数値がobjectになっていたため、NaNやIntの処理後に必要なデータ全体を一括float指定するために行った操作です。 2018年10月16日 1:03
  • 今回のWarningは気にしなくてもいいと思います、 2018年10月16日 1:08
  • warningの原因が、別のところにありました。質問に追記しております。また、astype(float)のコピー生成の点についても、質問追記しておりますので、アドバイスよろしくお願いいたします。 2018年10月16日 1:13
  • 質問追記があったので回答を修正しておきました。 2018年10月16日 7:02
  • たくさんの解説ありがとうございます。ご提案いただいたコーディングについてわからない点があり、追記しております。よろしくお願いいたします。 2018年10月16日 7:49

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。