pytorchのtorch.nn.Linearモジュールをnumpyで再現しようとしています。
結果は多少誤差がでたため、小数点を切捨ててboolの判定を出力してみました。
切り捨てた結果は同じ数字にもかかわらすFalse判定になってしまうのはなぜでしょうか?
私自身コンピュータサイエンスには詳しくないため、どなたかご教授お願いします。
import numpy as np
import torch
import torch.nn as nn
from module import Linear # 自作のモジュール
np.random.seed(42)
# 自作モジュール
x = np.random.randn(2,3,3,4)
affine = Linear(4,6)
# torch.nn.Linear
xt = torch.tensor(x).float()
linear = nn.Linear(4,6)
# nn.Linearのパラメータを自作モジュールに上書き
weight = linear.weight.detach().numpy().copy()
affine.weight = weight
bias = linear.bias.detach().numpy().copy()
affine.bias = bias
# 自作モジュールの出力
y = affine(x)
print(y[0][0][0][0]) # 一部を出力
>>> -0.4672098047691683
# nn.Linearの出力
yt = linear(xt).detach().numpy().copy()
print(yt[0][0][0][0]) # 一部を出力
>>> -0.46720976
# boolで確認するとFalseになってしまう.....
print(np.round(y[0][0], decimals=3) == np.round(yt[0][0], decimals=3))
>>> array([[False, False, False, False, False, False],
[False, False, False, False, False, False],
[False, False, False, False, False, False]])