4

pythonとも機械学習とも勉強不足でわからない点があったため、chainerの交差エントロピー誤差を計算するsoftmax_cross_entropy() について質問させてください。

MNISTを識別するサンプルコード
https://github.com/pfnet/chainer/blob/master/examples/mnist/train_mnist.py
を動かしてみました。

疑問に思った点は以下です。

  1. 49行目のreturn F.softmax_cross_entropy(y, t), F.accuracy(y, t) で、多クラス識別をする際の交差エントロピー誤差は、出力層のユニット数分(ラベルに対応するユニットだけでなくほかのユニットの確率も余事象として)計算しなければならないのに、教師データtを1ofK表記にせず、そのまま渡している点。
    交差エントロピーは与えられたラベルのユニットだけに関する重みを更新するのでしょうか。
    関数内部で1ofK表記、または多ラベル表記に変換しているのかなと考えてソースを見たのですがよくわかりませんでした。どのような処理をしているのかも教えてほしいです。

  2. 48行目の y = model.l3(h2) でsoftmax関数を通していない理由は、softmax_cross_entropy() 内で self.y, = Softmax().forward_cpu((x,)) として、関数内でsoftmax関数を適用しているからなのでしょうか
    そうすると 49行目の return F.softmax_cross_entropy(y, t), F.accuracy(y, t) のyをh2の値を渡してもいい気がするのですがどうなんでしょう(yで線形変換する必要はあるのか)

質問は以上です。
初歩的な質問かもしれませんがよろしくお願いします。

交差エントロピー、多クラス識別について参考にしたブログ
http://hshinji.hateblo.jp/entry/2015/05/20/081530

softmax_cross_entropyのReference
https://github.com/pfnet/chainer/blob/master/chainer/functions/softmax_cross_entropy.py

1 件の回答 1

2

こんにちは

ご指摘の通り、このFunctionは入力ベクトルxに対してSoftmaxを適用した後、正解ラベルtとの交差エントロピーを取ります。ラベルの数をKとしたとき、xはK次元ベクトルですが、tは1 of K表現ではなく、ラベルのインデックスを整数で表しています。

1について

正解ラベル以外のインデックスに対してはエラー(損失の勾配)が0になるので、エラーを逆伝播する必要がありません。

分布pqの交差エントロピーは-Σ_i p(i) log q(i)で、今の場合pは、正解ラベルtp(t)=1で、それ以外の値t'p(t’)=0という分布です。なので、y=Softmax(x)としyy=[y1, …, yK]と成分で書くと、交差エントロピーは-log ytとなります。

ある変数zのエラーは損失(今の場合交差エントロピー)をzで微分した値です。今の場合tと異なるt’について、損失-log ytyt’で偏微分をすると0なので、yt’についてはエラーが発生しません。

ChainerでのSoftmaxCrossEntoropyのコードはこちらを参照してください

  • 変数名はexampleのコードではなく、SoftmaxCrossEntropyのソースコードに合わせています。exampleでのySoftmaxCrossEntropyのコード内でのxに対応しています
  • 実際にはミニバッチなので、ミニバッチサイズをBとした時、xBk列の行列、tB次元のベクトルですが、今はミニバッチサイズは1として書いています

2について

ご指摘の通り、定義通りにAccuracyを計算するには、Softmaxを取ってから値が最大となるインデックスを取る(argmaxを取る)必要があります。しかし、exampleのコードではxそのものに対してargmaxをとっています。

しかし、ベクトルxの中で最大値を取るインデックスとSoftmax(x)の中で最大値を取るインデックス同一(つまりargmax x = argmax Softmax(x))なので、Softmaxを取る前のベクトルに対してargmaxを取って構いません。

例えばx=[1, 3, 6]とすると、Softmax(x) = [exp(1)/Z, exp(3)/Z, exp(6)/Z]となります。ここで、expは指数関数、Zは出力ベクトルの合計が1となるようにするための定数で、この例の場合はZ = exp(1) + exp(3) + exp(6)です。確かにxでもSoftmax(x)でも値が最大の要素は3番目で共通しています。

実際にargmaxをとっているのはChainerのコードではこの部分です

3
  • 早くわかりやすい回答ありがとうございます。 回答を読んで追加の質問なのですが、 1について 「分布pとqの交差エントロピーは-Σ_i p(i) log q(i)で、今の場合pは、正解ラベルtでp(t)=1で、それ以外の値t'でp(t’)=0という分布です。なので、y=Softmax(x)としyをy=[y1, …, yK]と成分で書くと、交差エントロピーは-log ytとなります。」 とありますが、log yt は出力層のt番目のユニットの出力値という理解でいいのでしょうか。
    – Katyusya
    Commented 2015年6月20日 10:01
  • SoftmaxCrossEntropyまで含めて全体で1つのニューラルネットだと思うと、このニューラルネットの出力層のユニットは1つ(exampleでいうとloss)で、その出力値は -log ytです。また、ytはニューラルネットの途中にあるSoftmaxの層のt番目の出力ユニットと考えることができます。 マイナスがついていないlog ytに対応する出力は今回のニューラルネットには現れないと思います(あえてそういう層を作らなければ)
    – delta
    Commented 2015年6月20日 23:33
  • マイナスを付け忘れていました。理解出来ました。ありがとうございました
    – Katyusya
    Commented 2015年6月21日 3:04

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。