0

Pythonでデータオーグメンテーションするプログラムを書きました。
5000枚ほどの入力画像を入れたいのですが、
実行するに連れてメモリ使用量がどんどん増加します。
メモリリークが疑えますので、ガーベジコレクション試みましたが解決できませんでした。
解決に向けてのアドバイスを頂きたく質問します。
よろしくおねがいします。

import tensorflow as tf
import numpy as np
from PIL import Image
import glob
import os

import configparser

inifile = configparser.ConfigParser()
inifile.read('./config.ini', 'UTF-8-SIG')
in_image = glob.glob(inifile.get('directory', 'in_dir') + '/*')
in_fileName = os.listdir(inifile.get('directory', 'in_dir'))

#<<debug>>
#print(in_image)
#print(in_fileName)
print(len(in_image))

for num in range(len(in_image)):
    image = tf.read_file(str(in_image[num]))
    direct, filename = os.path.split(str(in_image[num]))
    name, ext = os.path.splitext(filename)

    print('direct:{}, file:{}'.format(direct, filename))

    if image is None:
        print("Not Open")
        continue

    with tf.Session() as sess:
        coord = tf.train.Coordinator()
        threads = tf.train.start_queue_runners(coord=coord)
        for i in range(5):

            if int(inifile.get('format', 'JPG')) == 1:
                tmp_img = tf.cast(tf.image.decode_jpeg(image, channels=3), tf.float32)
            elif int(inifile.get('format', 'BMP')) == 1:
                tmp_img = tf.cast(tf.image.decode_image(image, channels=3), tf.float32)

            if int(inifile.get('data_arg_flip', 'flag_flip')) == 1:
                tmp_img = tf.image.random_flip_left_right(tmp_img)

            if int(inifile.get('data_arg_brightnes', 'flag_brightness')) == 1:
                tmp_img = tf.image.random_brightness(tmp_img, max_delta = int(inifile.get('data_arg_brightnes', 'max_delta')))

            if int(inifile.get('data_arg_contrast', 'flag_contrast')) == 1:
                tmp_img = tf.image.random_contrast(tmp_img, lower=float(inifile.get('data_arg_contrast', 'lower')), upper=float(inifile.get('data_arg_contrast', 'upper')))        

            if int(inifile.get('data_arg_rot', 'flag_rot')) == 1:
                tmp_img = tf.image.rot90(tmp_img, k=i)

            out_img = sess.run(tmp_img)
#            print(img.shape)
#            print(img)

            if int(inifile.get('format', 'JPG')) == 1:
                Image.fromarray(np.uint8(out_img)).save(inifile.get('directory', 'out_dir') + '/' + name + '_{0:03d}.jpg'.format(i))
            elif int(inifile.get('format', 'BMP')) == 1:
                Image.fromarray(np.uint8(out_img)).save(inifile.get('directory', 'out_dir') + '/' + name + '_{0:03d}.bmp'.format(i))

iniファイル

# file directory
[directory]
in_dir = ./original_image
out_dir = ./out_image

# data format
[format]
JPG = 0
BMP = 1

# arg_settings
[data_arg_set]
arg_num = 4

# function settings
[data_arg_flip]
flag_flip = 0

[data_arg_brightnes]
flag_brightness = 1
max_delta = 1
# max : 63

[data_arg_contrast]
flag_contrast = 1
lower = 0.8
upper = 1.0
# min : 0.1
# max : 2.0

[data_arg_rot]
flag_rot = 0

1 件の回答 1

1

私はtf.train.Coordinator()のようなコードに関するライブラリを使ったことはないのですが、
コード規約から察するに、何かのクラスですよね?
このコードがfor num in range(len(in_image)):でシーケンス処理の対象となり、何度も呼び出されています。pythonでは、ループ内で新たにインスタンスを生成しても、上書きされることはなく、シーケンスが終了するまで新しいインスタンスがいくつもメモリに出来上がります。
私はこれと同じ体験を、pygamewhileループ内で経験したことがありますから、これが原因だと思います。ですから、一回作ればいいインスタンスならば、ループ外で実行処理を行った方がよいでしょう。
特にこの場合は、そうした方がよろしいかと思います。

7
  • アドバイスありがとうございます。 そもそも下記2行は不要でした。 coord = tf.train.Coordinator() threads = tf.train.start_queue_runners(coord=coord) その上で色々と試してみた結果、処理が終わってもメモリが開放されてないことがわかりました。 ガーベジコレクションなるものを追記してみても改善が認められませんでした。 ループ処理を用いた書き方が今回のケースだと良くないのだと考えますが、どのように書けばよいのかがわかりません。 何か、サンプルのようなものはございませんでしょうか。
    – chamada
    Commented 2018年11月29日 10:09
  • @chamada その2行が不要な2行で、消してもコードの実行に全く問題がないようであれば、消していただいて、もし、必要なのだけれども、その場所になくてもいいというのであれば、for num in range(len(in_image)):よりも上に書けばよろしいかと思います。5000枚という事で、その一つ一つに処理を行っていらっしゃるのであれば、単純に考えて、5000回ループで回ることになりますよね?len(in_image)が5000の長さになるのだろうと思いますが、単純にループにより増える速度と、メモリの増加量が反映されるタイミングが、少しずれてしまっているのではないですか?5000回のループが終わってからも、メモリの方は5000回分まで反映されていないだけかもしれません。もし永久に増え続けるというのであれば、やはりどこかで、無限にコードが何回も実行されている箇所があるはずです。有限回数でとまるループ処理なら、やがてストップするとは思います。 Commented 2018年11月29日 12:02
  • アドバイスとしては、いきなり5000枚とはせずに、10枚だけで実行してみて、なおもしばらくたっても増え続けるのか検証してみていただくと、少なくともchamadaさんのおっしゃる通りなのだということは確実になろうかと思います。そしてメモリの増加が止まれば、少し早く判断してしまったのだという事がわかるかもしれません。 Commented 2018年11月29日 12:06
  • 長くて申し訳ありません。ループ処理の書き方、自体が悪いのではなくて、ループだと、「一回だけ作れば済むはずのものがループ回数分だけ作られてしまう」ということに私は問題があると思っています。chamadaさんのお書きになってらっしゃるコードは、私の環境ではすぐに実行が難しいので、もし上記を読んでいただいてもダメなようであれば、ほかに詳しい方が解答を書いてくださるまで待っていただくのがいいかなと思います。 Commented 2018年11月29日 12:16
  • 上記ありがとうございます。私の説明不足で、デバッグは10枚で試しています。最初に書くべきだったのですが、環境はWindows10+Spyder(Anaconda)でして、Windows上でメモリ確認しました。10枚の処理を1バッチとして、1バッチ目が終わると、使用メモリ量が増加。さらに、2バッチ目、3バッチ目と続けるに連れてメモリ量が増加するといった次第です。
    – chamada
    Commented 2018年11月30日 1:12

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。