エラーの説明:
world_vecという自作レイヤーで、逆伝播が途切れるという現象が起きています。tensorboardでグラフを確認したところ、オリジナルレイヤーがNoneと表示されていて後方のレイヤーとの接続が途切れていました。オリジナルレイヤーのinputのところは想定していたものが表示されていたのですが、outputのところが何も表示されません。
UserWarning: Gradients do not exist for variables ['kernel', 'bias', 'kernel', 'bias', 'kernel', 'bias', 'gamma', 'beta', 'kernel', 'bias', 'gamma', 'beta', 'kernel', 'bias', 'gamma', 'beta', 'world_vec', 'world_vec'] when minimizing the loss. If using `model.compile()`, did you forget to provide a `loss` argument?
また、modelをfitするときに、バッチ数を32とかにすると、以下のエラーが起きます。バッチ数を1にすると治ります
Arguments `target` and `output` must have the same shape up until the last dimension: target.shape=(32,), output.shape=(1, 2)
File "C:\Users\mnist.py", line 345, in <module>
history = model.fit(x_train, y_train, batch_size=32, epochs=1, callbacks=[tensorboard_callback])
ValueError: Arguments `target` and `output` must have the same shape up until the last dimension: target.shape=(32,), output.shape=(1, 2)
ーーーオリジナルレイヤーの説明ーーー
既存のものを作るのではなく、まったく新しい構造を自分で考えて作りました。作ったのはいわゆる、世界モデルというやつです。世界の状態をLSTMでいうところのメモリのようなものでシミュレートし、その後メモリをdenseで処理して回答を生成させるものです。
質問文で新しい知識や仮説が与えられたら、それに従ってメモリ(世界の状態)に変更を加えて、仮説や知識をシミュレートします。仮説に矛盾があれば、それを発見できます。以下のコードでは、mnistデータセットを使用して実験しています
オリジナルレイヤーのコード
import tensorflow as tf
import numpy as np
import math
class World_Vec(tf.keras.layers.Layer):
def __init__(self, output_dim):
super().__init__()
self.output_dim = output_dim
self.world_vec = None
self.conditions_vec = None
self.result_vec = None
self.b1 = None
self.b2 = None
self.a = None
self.conditions_vec_size = (10, 10, 10)
self.world_vec_size = (10, 10, 10)
def build(self, input_shape=(2, 10, 10, 10)):
#世界ベクトルと事象ベクトルは対応する位置にあります。つまり世界ベクトルのaxis=0における位置が条件ベクトルにおけるaxis=0における位置と同じです。文章では説明するのが難しいので、分からなかった方は図を見てください。
self.world_vec = self.add_weight(name="world_vec", shape=self.world_vec_size)
self.conditions_vec = self.add_weight(name="conditions_vec", shape=self.conditions_vec_size)
self.result_vec = self.add_weight(name="result_vec", shape=self.conditions_vec_size)
self.b = self.add_weight(name="world_vec", shape=(self.conditions_vec_size[1], 1, 1))
self.a = self.add_weight(name="world_vec", shape=(self.conditions_vec_size[1], 1, 1))
def call(self, inputs, **kwargs):
#受け取った仮説を世界ベクトルに適用する
#入力のshapeの例=(2, 10, 10, 10) 入力.shape[1]=仮説の数、入力.shape[0]=特定の世界ベクトルを仮説に置き換えるには目印と仮説が必要なので二個。例:水を飲むならば酔っぱらうという仮説を立てたいときには、酔っぱらうという事象ベクトルの位置を目印にどこの条件ベクトルを変えればいいかを考える。arrayじゃなくてタプルでもいいかも
inputs = tf.squeeze(inputs, axis=0)
concatenated = tf.concat([self.world_vec, self.conditions_vec, self.result_vec], 0) #一回で完結させるために連結。別々でやってもいいかと思ったけどsoftmaxの時に不都合が生じる
#print("aiueo" + str(inputs.shape))
concatenated, tekito1, tekito2 = self.change_world_vec(concatenated, inputs[0], inputs[1])
#print("kakikukeko" + str(concatenated.shape))
world_vec = concatenated[0:self.world_vec_size[0]]
#print(self.world_vec.shape)
conditions_vec = concatenated[self.world_vec_size[0]:self.world_vec_size[0] + self.world_vec_size[0]]
#print(self.conditions_vec.shape)
result_vec = concatenated[self.world_vec_size[0] + self.world_vec_size[0]:]
for i in range(1):
world_vec, conditions_vec, result_vec = self.change_world_vec(world_vec, conditions_vec, result_vec)
return tf.reshape(tf.concat([world_vec, conditions_vec, result_vec], 0), shape=(1, -1))
def softmax(self, logits):
result = []
sumed = np.sum(np.exp(logits))
for i in logits.reshape((-1)):
result.append(np.exp(i))
result = np.array(result).reshape(logits.shape)
return result
def change_world_vec(self, world_vec, conditions_vec, result_vec):
for i in range(self.world_vec.shape[0]):
attention_weight = tf.constant([])
for k in range(self.conditions_vec.shape[0]):
world_vec_temp = tf.transpose(world_vec[i])
conditions_vec_temp = conditions_vec[k]
dot_temp = tf.tensordot(world_vec_temp, conditions_vec_temp, axes=1)
dot_temp = tf.math.reduce_sum(dot_temp)
#条件と世界ベクトルの一致を測る
#内積の要素を合算する
normalized_dot = dot_temp/math.sqrt(world_vec.shape[-1]*world_vec.shape[-2])#正規化
attention_weight = tf.keras.ops.append(attention_weight, normalized_dot)
#事象ベクトルからの取り出し
attention_weight = tf.nn.softmax(attention_weight)
attention_weight = tf.reshape(attention_weight, (conditions_vec.shape[0], 1, 1))
#print(conditions_vec.shape)
taked_out_result_vec = result_vec * attention_weight
taked_out_result_vec = tf.math.reduce_sum(taked_out_result_vec, axis=0)
#取り出したやつと世界ベクトルとの置換。まず世界ベクトルの該当箇所の削除から行い、次に追加を行う
erase_attention = tf.ones((conditions_vec.shape[0], 1, 1), dtype=tf.dtypes.float32)
erase_attention = erase_attention - tf.math.sigmoid(self.a * (attention_weight-self.b) + self.b)#self.a(attention_weight-self.b)+self.bは正規化だと思ってください
erase_attention = tf.math.reduce_sum(erase_attention)
erased_world_vec = world_vec[i] * attention_weight
if i == 0:
changed_world_vec = world_vec[i] + taked_out_result_vec
else:
changed_world_vec = tf.concat([changed_world_vec, world_vec[i] + taked_out_result_vec], axis=0)
return world_vec, conditions_vec, result_vec
keras functional apiのコード
h = keras.layers.Dense(2000, activation="relu")(h)
h = keras.layers.BatchNormalization(
axis=-1,
momentum=0.99,
epsilon=0.001,
center=True,
scale=True,
beta_initializer="zeros",
gamma_initializer="ones",
moving_mean_initializer="zeros",
moving_variance_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
synchronized=False)(h)
h = keras.layers.Reshape((2, 10, 10, 10))(h)
all_vec = World_Vec(4)(h)
h1 = keras.layers.Dense(64, activation="relu")(all_vec)
h1 = keras.layers.BatchNormalization(
axis=-1,
momentum=0.99,
epsilon=0.001,
center=True,
scale=True,
beta_initializer="zeros",
gamma_initializer="ones",
moving_mean_initializer="zeros",
moving_variance_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
synchronized=False)(h1)
#h = keras.layers.Dropout(dropout_rate)(h)
h1 = keras.layers.Dense(64, activation="relu")(h1)
h1 = keras.layers.BatchNormalization(
axis=-1,
momentum=0.99,
epsilon=0.001,
center=True,
scale=True,
beta_initializer="zeros",
gamma_initializer="ones",
moving_mean_initializer="zeros",
moving_variance_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
synchronized=False)(h1)
h1 = keras.layers.Dense(64, activation="relu")(h1)
h1 = keras.layers.BatchNormalization(
axis=-1,
momentum=0.99,
epsilon=0.001,
center=True,
scale=True,
beta_initializer="zeros",
gamma_initializer="ones",
moving_mean_initializer="zeros",
moving_variance_initializer="ones",
beta_regularizer=None,
gamma_regularizer=None,
beta_constraint=None,
gamma_constraint=None,
synchronized=False)(h1)
outputs = keras.layers.Dense(2, activation="relu")(h1)
model = keras.Model(inputs=inputs, outputs=outputs, name="mnist_model")
model.summary()
if __name__ == "__main__":
(x_train, y_train_temp), (x_test, y_test_temp) = keras.datasets.mnist.load_data()
print(x_train.shape)
x_train = x_train.reshape(-1, 28, 28, 1).astype("float32") / 255
x_test = x_test.reshape(-1, 28, 28, 1).astype("float32") / 255
print(y_train_temp[1:20])
y_train = []
for i in y_train_temp:
if i == 5:
y_train.append(1)
else:
y_train.append(0)
y_train = np.array(y_train).reshape(-1, )
y_test = []
for i in y_test_temp:
if i == 5:
y_test.append(1)
else:
y_test.append(0)
y_test = np.array(y_test).reshape(-1, )
print(y_test.shape)
model = make_model()
model.compile(
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
optimizer=keras.optimizers.Adam(),
metrics=["accuracy"]
)
logdir = "/logs/fit/" + datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir)
history = model.fit(x_train, y_train, batch_size=32, epochs=1, callbacks=[tensorboard_callback])
世界の状態を重みで表現しているのですが、重みをいじるのがダメなのかと思い、別の変数に重みをコピーしてからやるようにしました。