長文失礼し<質問に対する回答>
少し長くなりそうなのでこちらに記入いたします。
accが100%になるのでは?とのことですが、これについては重みとバイアスについて言い忘れていたことがありました。わ。重要になってくるのは重みとバイアスの初期値です。これらは最初から決まっているわけではないので何かしら値を最初に決めてあげなければなりません。かといって、安直に「重み=0」なってことをすると、出力があれば0になってしまい学習どころではなくなってしまいます。(バイアスの初期値は0にすることが多いみたいです)そこで、コメント何を使うかといいますと"乱数"を使います。正確には正規分布の乱数ですね。この正規分布の乱数を機械学習の初期値用に改良したもので「Xavierの初期化」というものがあります。その初期化についてはちょっと複雑になってしまうので今は触れないでおきます。なんか重みの初期化の方法があるんだなぁくらいに思っていただければその都度分かる範囲てください。本題に入りますと、重みが乱数なわけですから分類したい画像をモデルにかけてもaccが100%になるなんてことはまずありえません。lossから重みとバイアスを調整することによってそれらを100%に近づけていくのです。
次にlossとaccの計算方法について簡単に説明します。
例えば犬、猫、猿の3種類が混ざった54000枚の画像を分類するとします。ここで答え、結果として何が出力されてほしいか?を考えてみると、犬の画像だったら犬、猫の画像だったら猫って出力してほしいわけです。つまり、出力の値の種類は「犬、猫、猿」の3種類になります。これはつまり、出力層からの出力は要素3つの配列になればいいよってことです。そして、一般的にはその配列の最大値をモデルの出力とします。(例えば出力が [0.13, 0.55, 0.32] だったとしたら、2番目の要素、この場合で言う"猫"がモデルの出力となります)
ここで、上記で説明した出力が本当に元の画像とあっているのかを判定する必要があります。例えば、犬の画像をモデルに通して[0.13, 0.55, 0.32]が出力されたとします。しかし、理想的な出力は犬なので[1, 0, 0]です。一目見て値が全然違うことがわかりますね。この差が「loss」の正体です。正確には単なる「差」ではなく、分類問題では「交差エントロピー誤差」というものを使います。これも調べてみると良いと思います。今はlossを求める計算方法があるんだなぁってな感じで思っていてください。さらに求まった交差エントロピー誤差から「Adam」というアルゴリズムで重みとバイアスを調整していきます。Adam以外にもいろいろありますが、現時点ではAdamが一番良いみたいですね。
ここで、[1, 0, 0](※ここでいう[1, 0, 0]が"クラス"とか"ラベル"とかいうやつですね。また犬の画像を行列化したデータは単に入力データです。2つ合わせたものが訓練データです。)はどこから出てくるの?と思うかもしれませんが、これは自分で設定するしかありません。例えば、1番目の入力データが犬なら1番目のラベルは[1, 0, 0]、2番目の入力データが猫なら2番目のラベルは[0, 1, 0]のように別個でデータ群を作る必要があります。これを「ラベル付け」とか言ったりします。
しかし、ラベル付けを54000枚もやっていただきたら日が暮れてしまいますね?笑
なので、例えば犬の画像を1つのフォルダに集めて、そのフォルダに入っている訓練データのラベルは全部[1, 0, 0]だよ!みたいなことをやったりします。今回の場合はMNISTのデータセットなので、あらかじめラベル付けされていますし今は深入りしないことにしましょう。
いろいろ脱線してしまいましたが、こんな感じでlossを求めます。
最後にaccの求め方ですが、正直詳しい計算方法については僕もあんまりわかっていません笑
多分、ひと通り訓練データで学習した後、検証データでモデルを通したときの
(正解数) / (正解数 + 失敗数)
みたいな感じで求めるのかなと思います。
かなり長くなってしまい申し訳ございません^^;;