0

私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。)

その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。
下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、エラーや同様の警告文となり変更することができません。

df.ilocなどを使用し同じ列名に代入するときの正しい文法を教えていただければ幸いです。
左辺と右辺が異なる場合はエラーや警告文は出ませんでした。

SettingWithCopyWarning:
A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

・変更前のコード

for i in range(len(df)):
   df['column'].iloc[i] = (df['column'].iloc[i].split('%'))[0]

・変更後のコード

for i in range(len(df)):
    df['column'].iloc._setitem_with_indexer(i, (df['column'].iloc[i].split('%'))[0])
1
  • df['column'] = df['column'].replace('%', '', regex=True) で良いのではないでしょうか。
    – user39889
    Commented 2018年7月14日 14:52

2 件の回答 2

2

SettingWithCopyWarningというのは、次のようにすると、まずdf['column']を計算して、それを使ってiloc[i]を計算するので、処理に大きな時間がかかるという警告です。

df['column'].iloc[i]

次のように書くと計算が1回で済むから早くなります。

df.loc[i, 'column'] 

今回の問題はそれだけではないですね。Pandasを使うときにforを使うと計算が非常に遅くなります。この場合だと次のようにstrアクセサを使うことで、データの各要素に対して文字列メソッドを適用することができるので、簡単にかけて高速に処理できます。

df['column'] = df['column'].str.split('%')[0]

また、%が右側についているので数値にできないという場合がよくあるのですが、その場合はrstripが使えるので簡単にかけて処理も速いです。

df['column'] = df['column'].str.rstrip('%')
1
  • ご返信が遅れてしまい大変申し訳ありません。私のプログラムの問題点を詳しく説明して頂き大変勉強になります。オブジェクト指向の基本的な構造を理解できていませんでした。また、Pythonのfor文の書き方が気に入ってしまっていたので、頭が固まっていました。実際に実行しましたところ、目的通り動き警告もなく動作も早くなりました。今回は大変勉強になる回答をいただいたにも関わらず遅れてしまい申し訳ありません。 Commented 2018年7月17日 12:28
1
import pandas as pd
df = pd.DataFrame([["abc%def",15],["efg%ghi",22]],columns =["column","num"])

をサンプルデータとします。
目的を満たす簡便な方法としては次のような記述が挙げられます。

df["column"]=df["column"].apply(lambda s:s.split("%")[0])

おおよそギガバイト級のデータを扱わない限り上記の記述で十分だと思います。
もう少しテクニカルな記述としては、numpyのvectorizeを使う手段があります。
こっちのほうが上記よりちょっと早いです。

import numpy as np
f = np.vectorize(lambda s:s.split("%")[0])
df["column"] = f(df["column"])

もっと早くする方法としては、cythonやnumbaといったライブラリを使用して静的型付けを行い、コンパイルを行う方法がありますが、numbaのほうはstring型を最適化できないようなので特殊な処理が必要となるようです。cythonについては私も理解が不十分なので紹介に留めます。

下記に参考にしたサイトを記述します。
https://pandas.pydata.org/pandas-docs/stable/enhancingperf.html

1
  • ご返信が遅れてしまい大変申し訳ありません。Cythonは存じていましたが、Numbaについては初耳でした。回答につきましても一つのプログラムではなく、処理の早くなる方法など目的以上のことを知り大変嬉しく思います。また、わざわざ参考文献までありがとうございます。ぜひ読ませていただきます。今回はご返信が遅れてしまい大変申し訳ありません。 Commented 2018年7月17日 12:31

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。