Deep Learningを用いた画像分類の評価方法について質問です。
例えば、10000枚のデータセットがあり、この内1000枚を学習に使用したモデル(モデル1)と5000枚を使用したモデル(モデル2)があり、テストデータに対するモデル1のAccuracyが80%、モデル2のAccuracyが90%だったとします。使用する画像はランダムに選択するものとします。
この時、モデル2の方が精度が良いことになりますが、有意差があることを示すことはできるのでしょうか。示せる場合、有意差検定に適した検定手法は何になるのでしょうか。
Accuracy以外の指標についても同様で、差が生じた場合、有意差はどのように示すことができるのでしょうか。
-
「使用する画像はランダムに選択するものとします。」というのは学習用データに対するものでしょうか?– merinoCommented 2022年8月2日 15:39
-
@merino 様 そうです。– user53193Commented 2022年8月2日 15:47
-
accuracy以外にも評価指標はあるので目的次第だと思います。例えば誤判定をどの程度許容できるのでしょうか? また、accuracyについても元のデータセットのデータの内訳によっても判断は変わってくるかと思います。– merinoCommented 2022年8月2日 15:56
-
@merino 様 誤判定については考慮に入れていませんでした。 もとのデータセットは10クラス×1000枚=計10000枚、学習データは10クラス×100枚=計1000枚と10クラス×500枚=計5000枚を想定しています。テストデータは10クラス×20枚=計200枚を想定し、クラス不均衡のないようにしたいと考えています。– user53193Commented 2022年8月2日 16:16
-
一般的な画像分類のモデルであれば正解率の高いモデルを選択すれば良いと思います。モデルの検定については詳しくないのですが、このような情報がありました。detail.chiebukuro.yahoo.co.jp/qa/question_detail/q14262082589– merinoCommented 2022年8月3日 10:13
コメントを追加
|