0

オライリー・ジャパンの「ゼロから作る Deep Learning」という本についての質問です。

疑問は、「定数関数を微分してるから結果はゼロになるんじゃないか?」というものですが、とりあえず関数を見てください。本を持ってる人は、p.159ページです。

def loss(self, x, t):
    y = self.predict(x)
    return self.lastLayer.forward(y, t)

def numerical_gradient(self, x, t):
    loss_W = lambda W: self.loss(x, t)

    grads = {}
    grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
    grads['b1'] = numerical_gradient(loss_W, self.params['b1'])
    grads['W2'] = numerical_gradient(loss_W, self.params['W2'])
    grads['b2'] = numerical_gradient(loss_W, self.params['b2'])

    return grads

問題はnumerical_gradientで、これにxとtを代入すると、まずself.loss(x, t)が定数として確定します(これをcとおきます)。次に、loss_W = lambda W: self.loss(x, t)は、Wに関係なく定数cを返す定数関数として確定します。これに対してnumerical_gradientをしてもcの微分なので0しか返ってこないのでは?

numerical_gradientの中身は次のようになります。

def numerical_gradient(f, x):
    h = 1e-4
    grad = np.zeros_like(x)

    for idx in range(x.size):
        tmp_val=x[idx]
        # f(x+h)の計算
        x[idx] = tmp_val + h
        fxh1 = f(x)

        #f(x-h)の計算
        x[idx] = tmp_val - h
        fxh2 = f(x)

        grad[idx] = (fxh1 - fxh2) / (2*h)
        x[idx] = tmp_val

    return grad

つまり、numerical_gradient(loss_W, self.params['W1'])は、loss_W(Wij+h)やloss_W(Wij-h)を計算して(loss_W(Wij+h) - loss_W(Wij-h))/ (2*h)とかを出力しますが、loss_W(Wij+h)=loss_W(Wij-h)=self.loss(x, t)=cなので、ゼロしか返さないのでは?ということです。

わかる方お願いします!

1
  • lossメソッドが呼び出す度に異なる値を返すのかも知れません。その場合loss_Wは定数関数でなくなります。とりあえずlossの挙動について調べてみてはどうでしょうか。
    – letrec
    Commented 2017年7月14日 11:16

1 件の回答 1

1

私もその本をたまたま持ってます。

次に、loss_W = lambda W: self.loss(x, t)は、Wに関係なく定数cを返す定数関数として確定します。

これが違いますね。loss_Wselfつまりインスタンスオブジェクトのデータに依存して計算します。つまりselfの持つデータが変わればloss_Wの返す値も変わりうるのです。

そして、どこでselfの持つデータが変わっているのかというと、それはnumerical_gradientの中です。

grads['W1'] = numerical_gradient(loss_W, self.params['W1'])

ここでself.params['W1']が引数xとして渡されています。self.params['W1']は、本を見るとわかりますがndarray(numpyの配列)です。

次に numerical_gradientの定義を見ると、

x[idx] = tmp_val + h

ここでxのmutationが起きています。これによって、selfの持つデータが変わったわけです。
このあとに

fxh1 = f(x)

fつまりloss_Wが実行されて、self.params['W1']が少しだけ増えたときの値が返るというわけです。

この質問に回答するには、ログインする必要があります。