0

pythonにて機械学習用に
「『行列をnumpy形式で保存したファイル(のペア)』を読み出し、行をランダムに入れ替えて、numpy形式で保存する。これを複数ファイル分行う」という処理をしています。

『行列をnumpy形式で保存したファイル(のペア)』の行列サイズは2000万×33と2000万×1で、ファイル数は10です。

こちらの処理を高速化したいのですが、以下コードの中で、改良できそうな点はありますでしょうか?

今まで、https://qiita.com/shaka/items/f180ae4dc945dc7b9066 を参考に、サイズを小規模にして一時変数の利用などは試してみたのですが、早くなったり逆に遅くなったりして、変化が見られませんでした。

少しでも解決できそうな手段をご存じの方がいたら、アドバイス頂けると幸いです。よろしくお願い致します。
コード:

# 定義済みの変数
# file_listx: 1種類目のデータが保存されているファイル名のリスト(例:['x1.npy','x2.npy',…,'x10.npy'])
# file_listy: 2種類目のデータが保存されているファイル名のリスト(例:['y1.npy','y2.npy',…,'y10.npy'])

# ディレクトリにあるファイル
# x1.npy, x2.npy, …, x10.npy: それぞれ、サイズ2000万×33の行列
# y1.npy, y2.npy, …, y10.npy: それぞれ、サイズ2000万×1のベクトル

for i in range(len(file_listx)):
    #データの読み込み
    data_x = np.load(file_listx[i]) #ペアのうち1種類目の、i番目のnumpyファイル(行列サイズ:2000万×33)
    data_y = np.load(file_listy[i]) #ペアのうち2種類目の、i番目のnumpyファイル(行列サイズ:2000万×1)

    rand_x = np.zeros_like(data_x)
    rand_y = np.zeros_like(data_y)

    #シャッフル用のインデックス準備
    index = np.arange(data_x.shape[0])
    np.random.shuffle(index)

    #シャッフル
    for j in range(data_x.shape[0]):
        rand_x[j,:] = data_x[index[j],:]
        rand_y[j,:] = data_y[index[j],:]

    #tensorに変換
    rand_x = torch.from_numpy(rand_x).float()
    rand_y = torch.from_numpy(rand_y).float()

    #保存
    np.save(file_listx[i],rand_x)
    np.save(file_listy[i],rand_y)
9
  • 1ファイル1プロセス(orスレッド)で並列に処理してみたら、どうですかね? Commented 2020年1月16日 9:25
  • 手元の環境(python 3.7.5/numpy 1.18.1/torch 1.4.0)で試してみましたが、実行時間の内、データのロード(np.load)が47%、データのセーブ(np.save)が26%、シャッフルが25%程度を占めています。GPUは利用していませんが、tensorに変換する処理部分は全体の0.5%程度で、disk I/O に時間を取られている状況です(x1.npy などのファイルサイズは5GB程度です)。SSD を利用するなどすれば実行時間を短縮できるかもしれません。シャッフルに関しては見直す余地はありそうです。
    – user39889
    Commented 2020年1月16日 11:12
  • Is there a faster version of numpy.random.shuffle? を参考に、numpy.random.shuffle()rand_x = data_x[np.random.permutation(data_x.shape[0]), :] の様に書き換えると、実行時間が20%程度は短縮されます。
    – user39889
    Commented 2020年1月16日 14:26
  • Kohei TAMURA様 ご回答ありがとうございます!並列処理は試したことがないので、この機に調べてみたいと思います。
    – nojule
    Commented 2020年1月16日 23:50
  • metropolis様 ご回答ありがとうございます!試して下さったんですね...!本当にありがとうございます。サーバ上で計算しているため、環境を変えるのは難しいかもしれないのですが、検討致します。他の方もシャッフルについて触れてらっしゃるので、見直したいと思います。
    – nojule
    Commented 2020年1月16日 23:56

1 件の回答 1

1

劇的な効果があるかわかりませんが:

  1. グローバルで処理を行わない
  2. np.random.shuffle を使う

である程度改善しませんか。

import numpy as np
import torch


def modify(data):
    np.random.shuffle(data)
    return torch.from_numpy(data).float()


def main(file_listx, file_listy):
    # 定義済みの変数
    file_listx = [f"x{i+1}.npy" for i in range(10)]
    file_listy = [f"y{i+1}.npy" for i in range(10)]

    for path in file_listx + file_listy:
        data = np.load(path)
        np.save(path, modify(data))


if __name__ == '__main__':
    main()
1
  • 1
    ernix様 ありがとうございます。試してみたところ、0.6%程度削減されました。使わせていただきます。
    – nojule
    Commented 2020年1月21日 7:30

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。