kerasで全結合ニューラルネットの回帰モデルを組んでいます(入力は10次元で出力が1次元)。
また, 損失関数には平均二乗誤差を用いています。
誤差に対する入力の勾配(誤差をL, 入力をxとしたときの dL/dx)を知りたいのですが, kerasでそれを実現できるのでしょうか?
同様の質問は以下かと思います。
https://stackoverflow.com/questions/53649837/how-to-compute-loss-gradient-w-r-t-to-model-inputs-in-a-keras-model
これによると backend functions を使えというようなことが記載されていました。
backend functions については以下に記載がありました。
https://keras.io/backend/#using-the-abstract-keras-backend-to-write-new-code
これによると keras には abstract Keras backend API というものがありこれを通してバックエンドの関数を呼び出せるようです。
tensorflow をバックエンドとしているならこのAPIを使用することにより、直接 tensorflow の関数を呼び出せるということだと思います。
この API を Backend functions と呼ぶのだと思います。
Backend functions の一覧は以下に記載されています。
https://keras.io/backend/#backend-functions
この中に
gradients
keras.backend.gradients(loss, variables)
Returns the gradients of loss w.r.t. variables.
Arguments
loss: Scalar tensor to minimize.
variables: List of variables.
Returns
A gradients tensor.
というものがありますので、これを使用すればよいかと思います。
解決いたしましたら、後学のためサンプルコードをあげていただくと幸いです。
頂いた回答を参考に解決できました.
直接誤差に対する勾配は得られなかったのですが, 以下の様にして対処できます
2*(モデルの出力-真の出力)
となりますimport keras
import keras.backend as K
model = keras.models.load_model("model_path")
get_grad = K.gradients(model.output, model.input)
sess = K.get_session()
grad_out = sess.run(get_grad[0], feed_dict={model.input: input_x})
# d output / d input
pred = model.predict(input_x)
grad_loss = 2 * (pred - true_out).reshape(-1, 1) * grad_out
# d loss / d input
MNISTの分類モデル(CNN)に対して,入力データのGradientは,以下のようにして計算できます.
import numpy as np
import tensorflow as tf
import keras
import keras.backend as K
import numpy as np
from keras.datasets import mnist
# Load MNIST dataset
(x_train, y_train), (x_test, y_test) = mnist.load_data()
del mnist
# Min-Max Normalization
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))
# Ohe-Hot encoding
y_train = keras.utils.np_utils.to_categorical(y_train)
y_test = keras.utils.np_utils.to_categorical(y_test)
# ==================================
model = keras.models.load_model('model_v0.h5', compile=False)
idx = 0
x_true = x_train[idx].reshape(1, 28, 28)
y_true = y_train[idx].reshape(1, 10)
y_pred = model.output
loss = tf.keras.losses.categorical_crossentropy(y_true, y_pred)
get_grad = K.gradients(loss, model.input)
sess = K.get_session()
grad = sess.run(get_grad[0], feed_dict={model.input: x_true})
# grad: d loss / d input
# ==================================
また,取得したGradientの直積を計算すればHessian行列が取得できます.
grad = grad.flatten()
hessian = np.outer(grad, grad)