現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。
しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。
このような場合に有効な学習を進める方法として何が考えられるのでしょうか?
バッチ正規化が有効だと聞いたことがあるのですが、GPUのメモリの関係上、バッチサイズは1が限界でバッチ正規化はおそらく使うことができません。
それ以外の方法で学習を安定して進めることのできる方法を教えてくださると助かります。
-
バッチサイズが小さい場合向けの手法だと例えば Layer Normalization: arxiv.org/abs/1607.06450 Group Normalization: arxiv.org/abs/1803.08494 Weight Standardization: arxiv.org/abs/1903.10520– zakkiCommented 2019年9月12日 7:10
コメントを追加
|