Skip to main content
Fix typo
ソース リンク
user39889
user39889
# 定義済みの変数
# file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy'])
# file_listx_listy: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy'])

# ディレクトリにあるファイル
# x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列
# y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル

for i in range(len(file_listx)):
    #データの読み込み
    data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33)
    data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1)
            
    rand_x = np.zeros_like(data_x)
    rand_y = np.zeros_like(data_y)
            
    #シャッフル用のインデックス準備
    index = np.arange(data_x.shape[0])
    np.random.shuffle(index)
            
    #シャッフル
    for j in range(data_x.shape[0]):
        rand_x[j,:] = data_x[index[j],:]
        rand_y[j,:] = data_y[index[j],:]
  
    #tensorに変換
    rand_x = torch.from_numpy(rand_x).float()
    rand_y = torch.from_numpy(rand_x_y).float()
           
    #保存
    np.save(file_listx[i],rand_x)
    np.save(file_listy[i],rand_y)
# 定義済みの変数
# file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy'])
# file_listx: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy'])

# ディレクトリにあるファイル
# x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列
# y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル

for i in range(len(file_listx)):
    #データの読み込み
    data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33)
    data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1)
            
    rand_x = np.zeros_like(data_x)
    rand_y = np.zeros_like(data_y)
            
    #シャッフル用のインデックス準備
    index = np.arange(data_x.shape[0])
    np.random.shuffle(index)
            
    #シャッフル
    for j in range(data_x.shape[0]):
        rand_x[j,:] = data_x[index[j],:]
        rand_y[j,:] = data_y[index[j],:]
  
    #tensorに変換
    rand_x = torch.from_numpy(rand_x).float()
    rand_y = torch.from_numpy(rand_x).float()
           
    #保存
    np.save(file_listx[i],rand_x)
    np.save(file_listy[i],rand_y)
# 定義済みの変数
# file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy'])
# file_listy: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy'])

# ディレクトリにあるファイル
# x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列
# y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル

for i in range(len(file_listx)):
    #データの読み込み
    data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33)
    data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1)
            
    rand_x = np.zeros_like(data_x)
    rand_y = np.zeros_like(data_y)
            
    #シャッフル用のインデックス準備
    index = np.arange(data_x.shape[0])
    np.random.shuffle(index)
            
    #シャッフル
    for j in range(data_x.shape[0]):
        rand_x[j,:] = data_x[index[j],:]
        rand_y[j,:] = data_y[index[j],:]
  
    #tensorに変換
    rand_x = torch.from_numpy(rand_x).float()
    rand_y = torch.from_numpy(rand_y).float()
           
    #保存
    np.save(file_listx[i],rand_x)
    np.save(file_listy[i],rand_y)
ソース リンク
nojule
  • 91
  • 1
  • 3
  • 15

pythonでのfor文の高速化(numpyファイル処理)

pythonにて機械学習用に
「『行列をnumpy形式で保存したファイル(のペア)』を読み出し、行をランダムに入れ替えて、numpy形式で保存する。これを複数ファイル分行う」という処理をしています。

『行列をnumpy形式で保存したファイル(のペア)』の行列サイズは2000万×33と2000万×1で、ファイル数は10です。

こちらの処理を高速化したいのですが、以下コードの中で、改良できそうな点はありますでしょうか?

今まで、https://qiita.com/shaka/items/f180ae4dc945dc7b9066 を参考に、サイズを小規模にして一時変数の利用などは試してみたのですが、早くなったり逆に遅くなったりして、変化が見られませんでした。

少しでも解決できそうな手段をご存じの方がいたら、アドバイス頂けると幸いです。よろしくお願い致します。
コード:

# 定義済みの変数
# file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy'])
# file_listx: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy'])

# ディレクトリにあるファイル
# x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列
# y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル

for i in range(len(file_listx)):
    #データの読み込み
    data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33)
    data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1)
            
    rand_x = np.zeros_like(data_x)
    rand_y = np.zeros_like(data_y)
            
    #シャッフル用のインデックス準備
    index = np.arange(data_x.shape[0])
    np.random.shuffle(index)
            
    #シャッフル
    for j in range(data_x.shape[0]):
        rand_x[j,:] = data_x[index[j],:]
        rand_y[j,:] = data_y[index[j],:]
  
    #tensorに変換
    rand_x = torch.from_numpy(rand_x).float()
    rand_y = torch.from_numpy(rand_x).float()
           
    #保存
    np.save(file_listx[i],rand_x)
    np.save(file_listy[i],rand_y)