KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, 0000099d6bd597052cdcda90ffabf56573fe9d7c79be5fbac11a8ed792feb62a to fffff1d38b785cef84adeace64f8f83db3a0c31e8d92eaba8b115f71cab04681
Columns: 918 entries, P_2_mean to D_68_<lambda_0>
dtypes: float64(891), int64(25), object(2)
memory usage: 3.1+ GB
上記コマンド実行時のKaggleのNotebookのRAMは最大16GBのうち6.6GB使用されています。
この状態で以下のコードを実行すると、KaggleのNotebookにYour notebook tried to allocate more memory than is available. It has restarted.
とエラーが発生します。
>>> train_narray = train.to_numpy(copy=False)
APIリファレンスからcopy=False
を指定した場合もコピーが作成される場合もあるということは分かったのですが、RAM使用量が2.4倍以上に膨れ上がるのは納得いきません。
Note that copy=False does not ensure that to_numpy() is no-copy.
少ないRAMでpandas.DataFrameをnampy.ndarrayに変換する方法ありましたら教えていただけないでしょうか?