pythonにて機械学習用に 「『行列をnumpy形式で保存したファイル(のペア)』を読み出し、行をランダムに入れ替えて、numpy形式で保存する。これを複数ファイル分行う」という処理をしています。 『行列をnumpy形式で保存したファイル(のペア)』の行列サイズは2000万×33と2000万×1で、ファイル数は10です。 こちらの処理を高速化したいのですが、以下コードの中で、改良できそうな点はありますでしょうか? 今まで、https://qiita.com/shaka/items/f180ae4dc945dc7b9066 を参考に、サイズを小規模にして一時変数の利用などは試してみたのですが、早くなったり逆に遅くなったりして、変化が見られませんでした。 少しでも解決できそうな手段をご存じの方がいたら、アドバイス頂けると幸いです。よろしくお願い致します。 コード: # 定義済みの変数 # file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy']) # file_listx: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy']) # ディレクトリにあるファイル # x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列 # y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル for i in range(len(file_listx)): #データの読み込み data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33) data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1) rand_x = np.zeros_like(data_x) rand_y = np.zeros_like(data_y) #シャッフル用のインデックス準備 index = np.arange(data_x.shape[0]) np.random.shuffle(index) #シャッフル for j in range(data_x.shape[0]): rand_x[j,:] = data_x[index[j],:] rand_y[j,:] = data_y[index[j],:] #tensorに変換 rand_x = torch.from_numpy(rand_x).float() rand_y = torch.from_numpy(rand_x).float() #保存 np.save(file_listx[i],rand_x) np.save(file_listy[i],rand_y)