環境はcolabを使っています。
pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。
class MyLSTM(nn.Module):
def __init__(self, vocsize, posn, hdim):
super(MyLSTM, self).__init__()
self.emdb = nn.Embedding(vocsize, hdim)
self.lstm = nn.LSTM(hdim, hdim, batch_first=True)
self.ln = nn.Linear(hdim, posn)
def forward(self, x):
ex = self.emdb(x)
lo = self.lstm(ex)
lo = lo[0]
out = self.ln(lo)
return out
net = MyLSTM(len(dic)+1, len(labels),100)#len(dic)+1で+1がないとエラーになる
optimizer = optim.SGD(net.parameters(), lr=0.01)
criterion = nn.CrossEntropyLoss()
for ep in range(10):
loss1k = 0.0
for i in range(len(xdata)):
x = [xdata[i]]
x = torch.LongTensor(xdata[i]).to(device)
output = net(x)
print(f'{ep} {i}')
y = torch.LongTensor(ydata[i]).to(device)
loss = criterion(output,y)
print(output.shape)
print(y.shape)
if (i % 1000 == 0):
print(i,loss1k)
loss1k = loss.item()
else:
loss1k += loss.item()
optimizer.zero_grad()
loss.backward()
optimizer.step()
outfile = 'lstm0-' + str(ep) + '.model'
torch.save(net.state_dict(),outfile)
出力
0 0
torch.Size([25, 16])
torch.Size([25])
0 0.0
0 1
torch.Size([50, 16])
torch.Size([50])
----------省略-------------
torch.Size([19, 16])
torch.Size([19])
0 1181
torch.Size([28, 16])
torch.Size([28])
0 1182
torch.Size([16, 16])
torch.Size([16])
0 1183
torch.Size([97, 16])
torch.Size([97])
0 1184
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-22-955d5dbf2b55> in <module>
9 print(f'{ep} {i}')
10 y = torch.LongTensor(ydata[i]).to(device)
---> 11 loss = criterion(output,y)
12 print(output.shape)
13 print(y.shape)
------------------------------ 2 frames -------------------------------------------------------------------------------------------------
/usr/local/lib/python3.7/dist-packages/torch/nn/functional.py in cross_entropy(input, target, weight, size_average, ignore_index, reduce, label_smoothing)
3012 if size_average is not None or reduce is not None:
3013 reduction = _Reduction.legacy_get_string(size_average, reduce)
-> 3014 return torch._C._nn.cross_entropy_loss(input, target, weight, _Reduction.get_enum(reduction), ignore_index, label_smoothing)
3015
3016
ValueError: Expected input batch_size (67) to match target batch_size (16).