2

現在deep learningを学習中の者で、pythonのtensorflowを使用しています。

tensorflowのウリとしては、optimizerにlossを渡せば勝手に最適化してくれることですが、その最適化途中のwの値や勾配の値を、見たり取り出したりすることはできないでしょうか?

また、一般的な最適化は重みの勾配さえわかれば問題ないのですが、私はlossに対する入力の勾配を求めたいと思っています。optimizerではおそらく求めてくれないので、gradients()関数を使用すればなんとかなりそうだとは思うのですがイマイチ理解できず困っています。

よろしくお願いします。

2 件の回答 2

4
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
grad, var = optimizer.compute_gradients(cost)
train_op = optimizer.apply_gradients([grad, var])

のようにすると grad として勾配を取り出すことができます。

0
params = tf.trainable_variables()
gradients = tf.gradients(loss, params)
tf.AdamOptimzer(0.1).apply_gradients(zip(gradients, params), global_step)

こんな感じで勾配を求めた上で、最適化することができます。
weigthとかbiasを見たい場合は

w = tf.get_variable("weight", [input_dim, output_dim], tf.float32)
b = tf.get_variable("bias", [output_dim], tf.float32)
print session.run([w, b])

のようにすればweightやbiasの値を見ることができます。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。