お世話になっております。
下記の記事を書いている者です。
機械学習の理論を理解せずに tensorflow で オセロ AI を作ってみた
今回お聞きしたいのは、
上記の オセロ AI の訓練時に Q_max が小さいまま 訓練されない
ソースは上記URLにリンクがあります。(ttps://github.com/sasaco/tf-dqn-reversi.git)
- train.py --- AI の訓練を行う
- Reversi.py --- オセロゲームの管理
- dqn_agent.py --- AI の訓練の管理
python3:train.py
players[j].store_experience(state, targets, tr, reword, state_X, target_X, end)
players[j].experience_replay()
変数名
- state --- 盤面( = Reversi.screen[0~7][0~7] )
- targets --- 置いていい番号
- tr --- 選択した行動
- reward --- 行動に対する報酬 0~1
- state_X --- 行動した後の盤面
- targets_X --- 行動した後の置いていい番号
- end --- ゲームが終了=True
python3:dqn_agent.py
def store_experience(self, state, targets, action, reward, state_1, targets_1, terminal):
self.D.append((state, targets, action, reward, state_1, targets_1, terminal))
def experience_replay(self):
state_minibatch = []
y_minibatch = []
# sample random minibatch
minibatch_size = min(len(self.D), self.minibatch_size)
minibatch_indexes = np.random.randint(0, len(self.D), minibatch_size)
for j in minibatch_indexes:
state_j, targets_j, action_j, reward_j, state_j_1, targets_j_1, terminal = self.D[j]
action_j_index = self.enable_actions.index(action_j)
y_j = self.Q_values(state_j)
if terminal:
y_j[action_j_index] = reward_j
else:
# reward_j + gamma * max_action' Q(state', action')
qvalue, action = self.select_enable_action(state_j_1, targets_j_1)
y_j[action_j_index] = reward_j + self.discount_factor * qvalue
state_minibatch.append(state_j)
y_minibatch.append(y_j)
# training
self.sess.run(self.training, feed_dict={self.x: state_minibatch, self.y_: y_minibatch})
# for log
self.current_loss = self.sess.run(self.loss, feed_dict={self.x: state_minibatch, self.y_: y_minibatch})
下記のように毎ターン更新
y_j[action_j_index] = reward_j + self.discount_factor * qvalue
state_minibatch.append(state_j)
y_minibatch.append(y_j)
# training
self.sess.run(self.training, feed_dict={self.x: state_minibatch, self.y_: y_minibatch})
しているのに loss がほぼ0 のまま
Q_max も 報酬(reward) 勝ったら1 を与えているのに 0.002 とか小さいのです。
参考にしたのが
超シンプルにTensorFlowでDQN (Deep Q Network) を実装してみる 〜導入編〜 | ALGO GEEKS
です。
よろしくお願いいたします。