以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます.
torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です.
なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます.
lossの例: tensor(0.5828, grad_fn=<MseLossBackward0>)
params.values()の例: odict_values([Parameter containing: tensor([[-0.1331]], requires_grad=True),
何か知っている方がいらっしゃいましたら,ご教示頂きますと幸いです.
宜しくお願い致します.
x = torch.rand(4, 1) * 4 * math.pi - 2 * math.pi
y = torch.sin(x)
optimizer.zero_grad()
params = OrderedDict(model.named_parameters())
for itr in range(1000):
pred_y = model(x)
loss = nn.MSEloss(pred_y, y)
grads = torch.autograd.grad(loss, params.values(), create_graph=True, allow_unused=True)
class Net(nn.Module):
def __init__(self, i_channel, o_channel, l_channel):
super(Net, self).__init__()
self.i_net = nn.Linear(i_channel, l_channel) # i_channel = 1, l_channel = 1
self.l_net = nn.Linear(l_channel, l_channel) # l_channel = 1, l_channel = 1
self.o_net = nn.Linear(l_channel, o_channel) # l_channel = 1, o_channel = 1
nn.init.normal_(self.i_net.weight, -1.0, 1.0)
nn.init.normal_(self.l_net.weight, -1.0, 1.0)
nn.init.normal_(self.o_net.weight, -1.0, 1.0)
self.relu = nn.ReLU()
def forward(self, x):
x = self.relu(self.i_net(x))
x = self.relu(self.l_net(x))
x = self.relu(self.o_net(x))
return x