4枚のGPUを積んだサーバ上で、全GPU空いている状態で私のプログラムを実行するとGPU上で実行できるのですが、GPU ID: 1〜3が使用されている状態で、GPU ID: 0で実行しようとしても、GPUが使用されず CPUでの実行になってしまいます。また、逆に私がGPU ID: 0で実行中に、GPU ID: 1〜3で実行されると、私のプログラムだけCPU実行になってしまいます。原因がわかる方いましたらお教え願います。
実行環境は、NVIDIA Quadro GV100×4を積んだサーバで、私のプログラムはCUDA9.2を指定し、PyTorchを使用しています。もう一方のユーザはCUDA9.0を指定し、TensorFlowを使用しています。GPU IDの指定はバッチファイルにて、両者、set CUDA_VISIBLE_DEVICES=0
とset CUDA_VISIBLE_DEVICES=1,2,3
で指定しています。