0

現在、Tensorflow+Kerasでモデルの学習をおこなっています。
このモデルにはBatch normalization レイヤーが含まれています。
ただ、使用しているGPUのメモリが少ないため、バッチサイズが4くらいでしか学習できません。
このように、バッチサイズが小さい場合でもBatch normalizationはうまく機能するものなのでしょうか。
よろしくお願いいたします。

1 件の回答 1

0

バッチサイズを大きくできない場合のためのアルゴリズムもいくつか提案されています。

Layer Normalization: https://arxiv.org/abs/1607.06450
Group Normalization: https://arxiv.org/abs/1803.08494
Weight Standardization: https://arxiv.org/abs/1903.10520

TensorFlowでLayerNormalizationは提供されているようです。
https://www.tensorflow.org/api_docs/python/tf/keras/layers/LayerNormalization

2
  • ありがとうございます!参考になります。ただ、やはりbatch normalization が圧倒的なんですね。。 Commented 2020年1月22日 9:30
  • BNは高性能で広く使われていますが、Group NormalizationとWeight Standardizationの組み合わせでBN超える場合もあるらしく、圧倒的ということもないんじゃないかと。 arxiv.org/abs/1903.10520 arxiv.org/abs/1912.11370
    – zakki
    Commented 2020年1月23日 2:28

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。