エラーの説明: world_vecという自作レイヤーで、逆伝播が途切れるという現象が起きています。tensorboardでグラフを確認したところ、オリジナルレイヤーがNoneと表示されていて後方のレイヤーとの接続が途切れていました。オリジナルレイヤーのinputのところは想定していたものが表示されていたのですが、outputのところが何も表示されません。 ``` UserWarning: Gradients do not exist for variables ['kernel', 'bias', 'kernel', 'bias', 'kernel', 'bias', 'gamma', 'beta', 'kernel', 'bias', 'gamma', 'beta', 'kernel', 'bias', 'gamma', 'beta', 'world_vec', 'world_vec'] when minimizing the loss. If using `model.compile()`, did you forget to provide a `loss` argument? ``` また、modelをfitするときに、バッチ数を32とかにすると、以下のエラーが起きます。バッチ数を1にすると治ります ``` Arguments `target` and `output` must have the same shape up until the last dimension: target.shape=(32,), output.shape=(1, 2) File "C:\Users\三浦圭人\mnist.py", line 345, in <module> history = model.fit(x_train, y_train, batch_size=32, epochs=1, callbacks=[tensorboard_callback]) ValueError: Arguments `target` and `output` must have the same shape up until the last dimension: target.shape=(32,), output.shape=(1, 2) ``` ーーーオリジナルレイヤーの説明ーーー 既存のものを作るのではなく、まったく新しい構造を自分で考えて作りました。作ったのはいわゆる、世界モデルというやつです。世界の状態をLSTMでいうところのメモリのようなものでシミュレートし、その後メモリをdenseで処理して回答を生成させるものです。 [![画像の説明をここに入力][1]][1] 質問文で新しい知識や仮説が与えられたら、それに従ってメモリ(世界の状態)に変更を加えて、仮説や知識をシミュレートします。仮説に矛盾があれば、それを発見できます。以下のコードでは、mnistデータセットを使用して実験しています オリジナルレイヤーのコード ``` import tensorflow as tf import numpy as np import math class World_Vec(tf.keras.layers.Layer): def __init__(self, output_dim): super().__init__() self.output_dim = output_dim self.world_vec = None self.conditions_vec = None self.result_vec = None self.b1 = None self.b2 = None self.a = None self.conditions_vec_size = (10, 10, 10) self.world_vec_size = (10, 10, 10) def build(self, input_shape=(2, 10, 10, 10)): #世界ベクトルと事象ベクトルは対応する位置にあります。つまり世界ベクトルのaxis=0における位置が条件ベクトルにおけるaxis=0における位置と同じです。文章では説明するのが難しいので、分からなかった方は図を見てください。 self.world_vec = self.add_weight(name="world_vec", shape=self.world_vec_size) self.conditions_vec = self.add_weight(name="conditions_vec", shape=self.conditions_vec_size) self.result_vec = self.add_weight(name="result_vec", shape=self.conditions_vec_size) self.b = self.add_weight(name="world_vec", shape=(self.conditions_vec_size[1], 1, 1)) self.a = self.add_weight(name="world_vec", shape=(self.conditions_vec_size[1], 1, 1)) def call(self, inputs, **kwargs): #受け取った仮説を世界ベクトルに適用する #入力のshapeの例=(2, 10, 10, 10) 入力.shape[1]=仮説の数、入力.shape[0]=特定の世界ベクトルを仮説に置き換えるには目印と仮説が必要なので二個。例:水を飲むならば酔っぱらうという仮説を立てたいときには、酔っぱらうという事象ベクトルの位置を目印にどこの条件ベクトルを変えればいいかを考える。arrayじゃなくてタプルでもいいかも inputs = tf.squeeze(inputs, axis=0) concatenated = tf.concat([self.world_vec, self.conditions_vec, self.result_vec], 0) #一回で完結させるために連結。別々でやってもいいかと思ったけどsoftmaxの時に不都合が生じる #print("aiueo" + str(inputs.shape)) concatenated, tekito1, tekito2 = self.change_world_vec(concatenated, inputs[0], inputs[1]) #print("kakikukeko" + str(concatenated.shape)) world_vec = concatenated[0:self.world_vec_size[0]] #print(self.world_vec.shape) conditions_vec = concatenated[self.world_vec_size[0]:self.world_vec_size[0] + self.world_vec_size[0]] #print(self.conditions_vec.shape) result_vec = concatenated[self.world_vec_size[0] + self.world_vec_size[0]:] for i in range(1): world_vec, conditions_vec, result_vec = self.change_world_vec(world_vec, conditions_vec, result_vec) return tf.reshape(tf.concat([world_vec, conditions_vec, result_vec], 0), shape=(1, -1)) def softmax(self, logits): result = [] sumed = np.sum(np.exp(logits)) for i in logits.reshape((-1)): result.append(np.exp(i)) result = np.array(result).reshape(logits.shape) return result def change_world_vec(self, world_vec, conditions_vec, result_vec): for i in range(self.world_vec.shape[0]): attention_weight = tf.constant([]) for k in range(self.conditions_vec.shape[0]): world_vec_temp = tf.transpose(world_vec[i]) conditions_vec_temp = conditions_vec[k] dot_temp = tf.tensordot(world_vec_temp, conditions_vec_temp, axes=1) dot_temp = tf.math.reduce_sum(dot_temp) #条件と世界ベクトルの一致を測る #内積の要素を合算する normalized_dot = dot_temp/math.sqrt(world_vec.shape[-1]*world_vec.shape[-2])#正規化 attention_weight = tf.keras.ops.append(attention_weight, normalized_dot) #事象ベクトルからの取り出し attention_weight = tf.nn.softmax(attention_weight) attention_weight = tf.reshape(attention_weight, (conditions_vec.shape[0], 1, 1)) #print(conditions_vec.shape) taked_out_result_vec = result_vec * attention_weight taked_out_result_vec = tf.math.reduce_sum(taked_out_result_vec, axis=0) #取り出したやつと世界ベクトルとの置換。まず世界ベクトルの該当箇所の削除から行い、次に追加を行う erase_attention = tf.ones((conditions_vec.shape[0], 1, 1), dtype=tf.dtypes.float32) erase_attention = erase_attention - tf.math.sigmoid(self.a * (attention_weight-self.b) + self.b)#self.a(attention_weight-self.b)+self.bは正規化だと思ってください erase_attention = tf.math.reduce_sum(erase_attention) erased_world_vec = world_vec[i] * attention_weight if i == 0: changed_world_vec = world_vec[i] + taked_out_result_vec else: changed_world_vec = tf.concat([changed_world_vec, world_vec[i] + taked_out_result_vec], axis=0) return world_vec, conditions_vec, result_vec ``` keras functional apiのコード ``` h = keras.layers.Dense(2000, activation="relu")(h) h = keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", moving_mean_initializer="zeros", moving_variance_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, synchronized=False)(h) h = keras.layers.Reshape((2, 10, 10, 10))(h) all_vec = World_Vec(4)(h) h1 = keras.layers.Dense(64, activation="relu")(all_vec) h1 = keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", moving_mean_initializer="zeros", moving_variance_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, synchronized=False)(h1) #h = keras.layers.Dropout(dropout_rate)(h) h1 = keras.layers.Dense(64, activation="relu")(h1) h1 = keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", moving_mean_initializer="zeros", moving_variance_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, synchronized=False)(h1) h1 = keras.layers.Dense(64, activation="relu")(h1) h1 = keras.layers.BatchNormalization( axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer="zeros", gamma_initializer="ones", moving_mean_initializer="zeros", moving_variance_initializer="ones", beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None, synchronized=False)(h1) outputs = keras.layers.Dense(2, activation="relu")(h1) model = keras.Model(inputs=inputs, outputs=outputs, name="mnist_model") model.summary() if __name__ == "__main__": (x_train, y_train_temp), (x_test, y_test_temp) = keras.datasets.mnist.load_data() print(x_train.shape) x_train = x_train.reshape(-1, 28, 28, 1).astype("float32") / 255 x_test = x_test.reshape(-1, 28, 28, 1).astype("float32") / 255 print(y_train_temp[1:20]) y_train = [] for i in y_train_temp: if i == 5: y_train.append(1) else: y_train.append(0) y_train = np.array(y_train).reshape(-1, ) y_test = [] for i in y_test_temp: if i == 5: y_test.append(1) else: y_test.append(0) y_test = np.array(y_test).reshape(-1, ) print(y_test.shape) model = make_model() model.compile( loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True), optimizer=keras.optimizers.Adam(), metrics=["accuracy"] ) logdir = "/logs/fit/" + datetime.now().strftime("%Y%m%d-%H%M%S") tensorboard_callback = keras.callbacks.TensorBoard(log_dir=logdir) history = model.fit(x_train, y_train, batch_size=32, epochs=1, callbacks=[tensorboard_callback]) ``` 世界の状態を重みで表現しているのですが、重みをいじるのがダメなのかと思い、別の変数に重みをコピーしてからやるようにしました。 [1]: https://i.sstatic.net/LIKNozdr.png