0

kerasで学習データ用のGeneratorを定義しましたが、各epochの終了時に on_epoch_end() が呼び出されません。どうしたらよいでしょうか?よろしくお願いします。

from pathlib import Path
import math

from tensorflow.keras.utils import Sequence
from keras.utils import np_utils

class ImageSequence(Sequence):
    def __init__(self, x, batch_size=512):
        self.x_positive = x[0]
        self.x_negative = x[1]
        self.batch_size = batch_size

    def __getitem__(self, idx):
        hbs = self.batch_size//2
        idx_p = np.random.randint(0, self.x_positive.shape[0], hbs)
        batch_x_positive = self.x_positive[idx_p]
        #
        idx_n = np.random.randint(0, self.x_negative.shape[0], hbs)
        batch_x_negative = self.x_negative[idx_n]
        #batch_x_negative = self.x_negative[idx*hbs : (idx+1)*hbs]
        #
        batch_x = np.r_[batch_x_positive, batch_x_negative]
        #
        batch_y = np.r_[np.ones(len(batch_x_positive)), np.zeros(len(batch_x_negative))]
        return batch_x, batch_y

    def __len__(self):
        return math.ceil(2 * len(self.x_negative) / self.batch_size)

    def _shuffle(self):        
        self.x_negative = shuffle(self.x_negative)

    def on_epoch_end(self):
        self._shuffle()


data_gen = ImageSequence([train_positive, train_negative], batch_size=BATCH_SIZE)

history = model.fit_generator(
    generator=data_gen,
    use_multiprocessing=True,
    validation_data=(x_valid, y_valid),
    steps_per_epoch=2 * len(train_positive) / BATCH_SIZE, 
    epochs=30,
    verbose=2,
    callbacks=[])

開発環境はコチラになります(Google Colabを使っています)

import tensorflow.keras
print(tensorflow.keras.__version__)

2.1.6-tf

1 件の回答 1

1

ここで呼び出されているshuffle関数の実装が間違っていてシャッフルされていない可能性はありませんか?

def _shuffle(self):        
    self.x_negative = shuffle(self.x_negative)

もし from random import shuffle でインポートした関数の場合は、以下のように書き換えてみてください。

def _shuffle(self):        
    shuffle(self.x_negative)

理由は、random.shuffle関数は結果を返さずその場でシャッフルを行う関数だからです。
self.x_negativerandom.shuffleの結果を「代入」すると、self.x_negativeの値が消えてしまうので、その場でself.x_negativeをシャッフルするだけで大丈夫です。
https://docs.python.org/3/library/random.html#random.shuffle

1
  • 1
    コメントありがとうございます。指摘いただいた内容に加えて、steps_per_epoch=2 * len(train_positive) / BATCH_SIZEsteps_per_epoch=2 * len(train_negative) / BATCH_SIZEに変更して、math.ceilmath.floorに変更したら解決いたしました。
    – RoadRoller
    Commented 2018年11月27日 8:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。