0

    def critic_optimizer(self):
        #placeholder for target???
        disc_reward = K.placeholder(shape=(None,1))
        #output of critic
        value = self.critic.output
        #MSE error
        loss = K.mean(K.square(disc_reward - value))

        optimizer = Adam(lr=self.critic_lr)
        #what is the second [] parameter???
        updates = optimizer.get_updates(self.critic.trainable_weights, [], loss)
        #[] is an empty list for outputs?  https://www.tensorflow.org/api_docs/python/tf/keras/backend/function
        train = K.function([self.critic.input, disc_reward], [], updates=updates)
        return train

上記はA2CをKerasにて書いた例ですが、パラメータの[]が何か分かりません。

以下のメソッドでコールされてます。

def train_model(self, state, action, target, advantages):

        self.actor.optimizer([state, action, advantages])

        self.critic.optimizer([state, target])

ソースはこちらです:ソース

Keras及びTensorflowのドキュメンテーションを読んでも、メソッドのパラメータが全部載っていませんでしたが、メソッドのパラメーターが載っている書籍がありましたら教えてください。

2 件の回答 2

1

https://keras.io/backend/#function

このFunctionには「出力がない」という意味ではないでしょうか。


Tensorflowバックエンドの実装が
https://github.com/keras-team/keras/blob/2.2.4/keras/backend/tensorflow_backend.py#L2724
https://github.com/keras-team/keras/blob/2.2.4/keras/backend/tensorflow_backend.py#L2509
このあたりです。

outputs[]を指定すると、ここ
https://github.com/keras-team/keras/blob/2.2.4/keras/backend/tensorflow_backend.py#L2676

    return fetched[:len(self.outputs)]

に効いてきて、長さ0のリストが返ります。

「出力がない」という指定なので出力を見る必要はなく、実際質問のコードでも

    self.critic.optimizer([state, target])

として結果を捨てています。

1
  • なるほどですね。実際にライブラリーのソースをトレースすること、勉強になりました。 Commented 2019年7月29日 2:54
1

回答になっていない気がしますが、
helpだと、以下のように見えます。
この領域、初心者につき、情報が間違えているかもしれません。

>>> from tensorflow.keras.optimizers import RMSprop, SGD, Adam
>>> help(Adam)
Help on class Adam in module tensorflow.python.keras.optimizer_v2.adam:

class Adam(tensorflow.python.keras.optimizer_v2.optimizer_v2.OptimizerV2)
 |  Adam(learning_rate=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-07, amsgrad=False, name='Adam', **kwargs)
 |

...
 |
 |  get_updates(self, loss, params)
 |

バージョンでインターフェースが変更され、それの置き換えがデコレータで実施されているようです。

def get_updates_arg_preprocessing(args, kwargs): 
# Old interface: (params, constraints, loss) 
# New interface: (loss, params) 
if len(args) > 4:
...

という置き換えです。よって、[ ]は、constraintsで制約のようですが、不要のようです。

2
  • この場合、paramsではなさそうですよね。lossも最後に並んでいますし、loss=lossでの表記でもありませんし、どうなんでしょうか。 Commented 2019年7月28日 16:21
  • バージョンでインターフェースが変更され、それの置き換えがデコレータで実施されているようです。def get_updates_arg_preprocessing(args, kwargs): # Old interface: (params, constraints, loss) # New interface: (loss, params) if len(args) > 4:という置き換えです。よって、[ ]は、constraintsで制約のようですが、不要のようです。
    – boundary1
    Commented 2019年7月28日 23:11

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。