2

現在、学術的目的でHDF5フォーマットで保存されたデータの解析に取り組んでいます。解析にはPythonのh5pyを使用しています。

ところで現在解析対象のHDF5ファイルはデータの全体容量として20GBもあり、さらに解析したい本体部分のデータは400000×10000のfloatの行列と考えられ、私が現在所有しているPCのハードウェアではメモリ的に十分に開くことができません。実際、本体部分のデータを読み込んだところメモリ不足で開発環境のspyderが停止しました。h5pyでなくてもよいのでHDF5を部分的に読み込みこのような問題を回避する方法はありませんか?

御回答お願いします。

4
  • H5FS is a mountable Linux virtual file system that allows to read the content of HDF5 as if they were real files が参考になるかもしれません。
    – user39889
    Commented 2017年12月26日 11:45
  • 回答ありがとうございます。読んでみます。 Commented 2017年12月26日 12:29
  • 追記:HDF5ファイルをvirtualに階層的ファイル構造に置き換えることでデータをnpyファイルのような形式で取り出すことを可能にし、対象データのnpyファイルをnumpy.loadの部分読み出し機能で少しずつ読み込んでいけばいいというわけですね。もしこのvirtualなファイル展開でメモリを食われる仕様だとすると少々厄介ですが、とりあえずやってみます。重ね重ね回答ありがとうございます。 Commented 2017年12月26日 12:48
  • chunked storageは使えませんか? Commented 2017年12月26日 21:07

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。