1

NN初心者です。
ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。
これは問題でしょうか?
Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。
目的はvalid lossを低くすることなので、train loss と valid lossの差は無視して、valid lossが最小となるようなチューニングをする、ということで良いのでしょうか。
それとも、train lossとvalid lossがある程度近い状態を、汎化性能の高い状態として目指すべきでしょうか。

初歩的な質問で恐縮ですが、御意見を頂けましたら有り難いです。

画像の説明をここに入力

6
  • trainデータとvalidデータ(の質)に大きな差があったりしませんか?
    – merino
    8月19日 8:54
  • 有り難うございます。確認したのですが、予測したい要素の分布には大きな差はありませんでした。validationデータ選択のためのrandom_stateを固定しているのですが、それを変更しても同様にTrain loss >> Valid lossという結果でした。
    – GitCat
    8月20日 3:24
  • validationのlossの方が常に低いというのは経験がないので分かりませんが、グラフを見るとlossが高いようにも思います。画像認識モデルかと思われますが、精度についてはどれくらいなのでしょうか?
    – merino
    8月20日 4:09
  • dropoutしないとどうなるのでしょうか?
    – merino
    8月20日 4:15
  • @merino Dropoutしないと、逆転して過学習になります。精度は、連続値をターゲットにしているのですが、現時点ではあまり良くありません。ただ、コードが間違っている可能性があるので、原因の解明をしているところです。
    – GitCat
    8月22日 6:21

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。