構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。
下記のような3つのoptimizerを同じ訓練ループの中で試しています 。
## 一つ目
optimizer = AdaBound( model.parameters(), lr=1e-3, betas=(0.9, 0.999), final_lr=0.1, gamma=1e-3, eps=1e-8, weight_decay=0, amsbound=False)
## 二つ目
optimizer = torch.optim.Adam( model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=True,# amsgrad=True : gradの大小によってlearninig rate自動調整機能:試してみるべき。 foreach=None, maximize=False, capturable=False, differentiable=False, fused=False)
## 三つ目
optimizer = torch.optim.NAdam( model.parameters(), lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, momentum_decay=0.004, foreach=None)