0

Macbook air, Jupyter-Notebook, Python2.7

参考
- link_1
- link_2

上記のリンクを参考にしソフトマックス回帰の実装を試みました。accurate: 0.104384133612と精度が約10パーセントしかありません。cost functionもすぐに極大点にたどり着きます、(局所解とは思えない、、)。どこがおかしいのでしょうか?

初歩的な内容かもしれませんが、よろしくお願いします。

 def softmax(z):
    e = np.exp(z - np.max(z))
    #return e/np.sum(e)
    return np.maximum(1e-5, e/np.sum(e))

n_class = 10

# Weight
W = np.random.randn(X_train.shape[1], n_class)

# Z = XW (+ b)
def transfunc(X, W):
    return np.dot(X, W)

Z = transfunc(X_train, W)

def initialize_label(X):
    Z = transfunc(X, W)
    return np.argmax(np.apply_along_axis(softmax, 1, Z), axis = 1)

# Assign each data to a random label
labels = initialize_label(X_train); labels.shape


def loss_function(X, theta):
    num = X.shape[0]
    J = 0
    z = np.dot(X, theta)
    for i in xrange(num):
        for k in xrange(n_class):
            if labels[i] == k:
                J = J - np.log(softmax(z[i])[k])
            else:
                J = J - 0
    return J

def gradient_k(X, theta, k):
    num = X.shape[0]
    z = np.dot(X, theta)
    grad = np.zeros_like(theta[:,k])
    for i in xrange(num):
        if labels[i] == k:
            grad = grad - X[i]*(1 - softmax(z[i])[k])
        else:
            grad = grad + X[i]*softmax(z[i])[k]
    return grad

loss_cost = [0]

def update(X, theta, eta = 0.0001, max_iter = 100):
    num = X.shape[0]
    for i in xrange(max_iter):
        tmp_theta = theta
        for k in xrange(n_class):
            tmp_theta[:,k] = tmp_theta[:,k] + eta*gradient_k(X, theta, k)
        theta = tmp_theta
        loss_cost.append(loss_function(X, theta))
        if abs(loss_function(X, theta)-loss_cost[i]) < 1e-5:
            print "convege, {}:iter".format(i)
            break
    return theta

書いたスクリプト

1 件の回答 1

1

一つずつ説明していきます。

まず、

labels = initialize_label(X_train); labels.shape

これは正解データのはずです。正解データは計算で求めるものではなく、T_train にあるので、
以下のように修正します。

labels = T_train

次に、

if labels[i] == k:
    grad = grad - X[i]*(1 - softmax(z[i])[k])
else:
    grad = grad + X[i]*softmax(z[i])[k]

これは符号が逆です。

if labels[i] == k:
    grad = grad + X[i]*(1 - softmax(z[i])[k])
else:
    grad = grad - X[i]*softmax(z[i])[k]

最後に、

predtheta = update(X_train, W, eta = 0.0001, max_iter = 100)

学習率が低すぎるため、学習がなかなか進まないようです。

predtheta = update(X_train, W, eta = 0.01, max_iter = 100)

あと、それほど影響はないようですが、おまけとして、

tmp_theta = theta

これでは、オブジェクトはコピーされません。
コピーしたいなら、以下のようにする必要があります。

tmp_theta = np.copy(theta)

以上です。

after [1 5 0 ... 5 8 4]
Correct [1 5 0 ... 5 8 4]
accurate: 0.9812108559498957

gradient_k は勾配ですよね。勾配が正の値なら重みを小さくする必要があります。
従って、In [566] の上の式は + でなく - ではないでしょうか?

つまり、先程の回答で符号が逆と指摘した箇所は質問のコードで問題なくて、

tmp_theta[:,k] = tmp_theta[:,k] + eta*gradient_k(X, theta, k)

これが

tmp_theta[:,k] = tmp_theta[:,k] - eta*gradient_k(X, theta, k)

であるべきなのではないでしょうか?

6
  • 非常に丁寧な回答ありがとうございます。まず出だしのlabelsの間違い気づかなかったです汗、次に符号が逆とありますがこれはどうしてでしょう?シグマの外にマイナスがあるのでマイナスになりませんか?学習率の選び方はいつも思いますが難しいですね、、
    – user28277
    Commented 2018年7月6日 14:00
  • 具体的にゆうとOut[563]:の下の等式のx^(i)の符号がマイナスなのであっていると思ったんですが、、
    – user28277
    Commented 2018年7月6日 14:21
  • @JapaneseStudent 先程、確かに手元のテキストと照らし合わせて「逆だ」と思ったのですが、 今テキストと照らし合わせても、逆だと思った理由が思い出せません。 すみません…
    – masm
    Commented 2018年7月6日 14:38
  • では今のところ理由はなににしろ正しいのは逆ということですね。どうしてだろう、、思い出し次第コメント頂けると幸いです
    – user28277
    Commented 2018年7月6日 14:41
  • @JapaneseStudent 回答に追記しました。
    – masm
    Commented 2018年7月6日 15:13

この質問に回答するには、ログインする必要があります。