0

実行環境
OS:windows10
python:3.7.4
numpy:1.16.5
pytorch:1.3.1

gpu:GeForce GTX 1060
Nvidia driver:441.87
Cuda:10.1
Cudnn:7.6.5

実行コードに関しましては頂いたものなので詳しくは省かせて頂きますが、Bidirectional LSTMを実装しています。

エラーメッセージ

File "C:\Users\ユーザー\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\nn\modules\module.py", line 541, in __call__
result = self.forward(*input, **kwargs)
File "D:\new\mcep_generator\no_adversarial_module\train_sample_BLSTM.py", line 65, in forward
out, hidden = self.l1(input)
File "C:\Users\ユーザー\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\nn\modules\module.py", line 541, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\ユーザー\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\nn\modules\rnn.py", line 543, in forward_tensor
return self.forward_tensor(input, hx)
 File "C:\Users\ユーザー\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\nn\modules\rnn.py", line 543, in forward_tensor
output, hidden = self.forward_impl(input, hx, batch_sizes, max_batch_size, sorted_indices)
File "C:\Users\ユーザー\AppData\Local\Continuum\anaconda3\lib\site-packages\torch\nn\modules\rnn.py", line 526, in forward_impl
self.dropout, self.training, self.bidirectional, self.batch_first)
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED

Cudaのバージョンを落としたり(それに合わせてpytorchやcudnnのバージョンも落としています)して試しているのですが、数回トレーニングが終わるか否かのタイミングでこのエラーを発生している状況です。

torch.backends.cudnn.enabled = False をプログラム内に導入するとトレーニングが開始されてもエラーを吐く事はなくなるのですが、非常にスピードが遅くなるので何とかこの原因を探りたいです。

1 件の回答 1

1

僕もLSTM(not bi directional)で同じエラーが起きました。なぜかはわかりませんが、バッチサイズを落とすとエラーがなくなりました。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。