特定のディレクトリにある大量のJSONファイルを読んで
それを加工してCSVに吐くようなバッチ処理があります
中の処理は JSON を読んだら何行かレコードを出力して
その後JSON自体は捨ててしまっていいはずで
実行途中にメモリ上に置く必要があるのはJSON1個分のはずで
JSONファイル1つ1つは大きくて 2MB でほとんどは数KBなのですが
このプログラムがなぜか 3GB のメモリを消費します
しかも全体で30分ぐらいかかるバッチなんですが
実行中だんだんメモリが増えていってしまいます
概略でかくとこんな感じです
with open('xxx.csv', 'w') as wf:
writer = csv.writer(wf)
for json_file in directory_files:
with open(json_file) as rf:
json_data = rf.read()
data = json.loads(json_data)
csv_line = [data['key1'], data['key2'], ...]
# 実際はもっと複雑なことをしてますが data に対しては read only な処理です
writer.writerow(csv_line)
del data
del json_data
gc.collect()
他に例外処理とか終了通知とかログとかいろいろいれてるんですがファイル数に対して増える処理はこれだけです
del data を読んだ場合ネストしたハッシュの内側も全て削除してくれるのでしょうか
ソースコード上のどの変数でメモリが増えてるか調べる方法はないでしょうか
追記:
flush したり こまめに close open するのは効果なかったです
@profile をつけて行ごとのメモリ使用量を出力しながら実行したんですが
遅すぎて1GBとかまでいくまで確認できなかったんですが
最初200MBぐらいからはじまって300MBぐらいまでの間では
range(...) とか json.load とか writerows の中でときどきメモリが 0.1 とか 0.2 とか増えて定期的に一気に減ったりするので一時データやIOバッファの確保にメモリが使われてるだけみたいでした