0

psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。

Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。

ERROR:  invalid input syntax for type bigint

整数値でも .0 となっているのが原因のようです。
すべて文字列で読むなど試みましたが、DBからデータフレームにする時点で .0 がついてきてしまいどうしようもないです。

どのように対処すればよろしいでしょうか。
よろしくお願いいたします。

実行環境
Windows 10
Python 3.7

追記
データフレーム化するときに、dtype=objectとすることで回避できました。
また、
table.astype({'hoge': np.int64})
とすると
ValueError: invalid literal for int() with base 10:
となってしまいます。

コメントで頂いたInt64についても試している段階です。
もう少しわかりましたら再度追記いたします。

2

1 件の回答 1

1

欠損値NaNはfloat型として扱われます。
NaNをfillnaで置換した上でastypeでキャストする方法が手っ取り早いです。
なお単純にastypeで置換すると ValueError: Cannot convert non-finite values (NA or inf) to integer が発生します。
本家の関連質問

import pandas as pd

df = pd.DataFrame({ 'hoge' : [1, 2] })
print(df)
""" 
   hoge
1     1
2     2
""" 

df = df.reindex([0,1,2])
print(df)
""" 
   hoge
1   1.0
2   2.0
3   NaN
""" 

# df['hoge'] = df['hoge'].astype('int64')
# ValueError: Cannot convert non-finite values (NA or inf) to integer

df['hoge'] = df['hoge'].fillna(0).astype('int64') # fillnaで置換した値はDBに戻すタイミングで再加工すること
print(df)
""" 
   hoge
0     1
1     2
2     0
""" 

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。