PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。
raw1 = raw1.where((pd.notnull(raw1)), None)
として、nanをNoneに寄せることはできるのですが、
out = pd.merge(raw1, raw2, on='key')
out = out[(out.x1 is not out.y1)]
としてもエラーは出ないものの、x1,y1ともにNoneのものが残ってしまい困っています。
また、最後に
out = out[(out.x1 is not out.y1) or (out.x2 is not out.y2)]
として違うもののみを出力するところもうまくいきません。
以下のエラーが出ます。
ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().
詳しい方、教えていただけないでしょうか。
よろしくお願いいたします。
追記
import pandas as pd
x = pd.DataFrame({'col_0': ["zero", "one", None],
'col_1': np.arange(3, 6),
'col_2': ("6", "7", None)},
index=['row_0', 'row_1', 'row_2'])
out = x[(x.col_0 is not x.col_2)]
とすると、
KeyError: True
となり、
out = x[(x.col_0 != x.col_2)]
はエラーは起きませんが、outとxが全く同じになってしまう(=全くフィルターが掛かっていない)ということになります。
そもそもNaNをNoneに寄せるというのが正しいのか気になります。
NoneをNaNに寄せるのはNaNを含む列が数値じゃないと成り立たないので、やはりNaNをNoneに寄せるほうが正しい、ということでよいのでしょうか。それともNoneとNaNのまま比べられる方法もあるのでしょうか?
実行環境
Windows 10
Python 3.7