1

以下の計算を高速で行う方法を教えていただきたいです.

import numpy as np
# 本当は10万くらいの長さ
a = np.array([[1,2,3],[4,5,6]])
# こっちも10万くらいの長さ
b = np.array([ [ [1,2,3],[4,5,6],[7,8,9] ], [ [1,2,3],[4,5,6],[7,8,9] ] ])
res = []
for i in range(a.shape[0]):
    for j in range(b.shape[0]):
        c = np.dot(a[i],b[i,j])
        res.append(c)

ベクトルが格納された配列(行列)と行列が格納された配列(三次テンソル)の積を上記のようなfor文を利用せず高速に計算する方法がありましたら,教えていただきたいです.

2
  • スタック・オーバーフローへようこそ! これは、Python の for 文が遅いからもっと高速に行いたいという問題意識があるという認識で間違いないでしょうか? また、精度はどのくらい必要でしょうか。
    – nekketsuuu
    Commented 2019年3月22日 2:21
  • 上記のコードを実行してみたところ、IndexErrorが発生しました。i=2のとき、b[i,j]が存在しないためです。見直してみていただけないでしょうか。
    – mk55
    Commented 2019年3月23日 11:44

2 件の回答 2

1

pythonのfor文は遅いので、適切に高速化されている(はずの)numpyで処理したい、ということだと思います。

私はテンソルの計算は経験はないのですが、numpyにはテンソル積やテンソルのドット積を計算できるnumpy.tensordotや、numpy.einsumがあるので、うまく使うと簡単に書けたりしないでしょうか。

記載いただいたコードを見るとドット積を計算したいようなので、試してみました。(質問のコードがIndexErrorーになるので確証はないのですが、以下で質問の意図に沿ってますかね?)。
高速化できるかは実際に試してみていただければと。

import numpy as np
# 本当は10万くらいの長さ
a = np.array([[1,2,3],[4,5,6]])
# こっちも10万くらいの長さ
b = np.array([ [ [1,2,3],[4,5,6],[7,8,9] ], [ [2,3,4],[5,6,7],[8,9,10] ] ])

c = np.tensordot(a,b.T,1)
x, y, z = c.shape

tmp = c.reshape(1, x * y * z)
res = tmp[0].tolist()

なお、以下を参考にしました。

また、他の手段として、daskのような並列処理を利用できるライブラリを使ったり、cupyなりを使ってGPUで処理したりすると、高速化が図れるかもしれませんね。

1
  • 回答ありがとうございます.コードを修正いたしました.高速化できるかどうか試してみます.
    – sirouto
    Commented 2019年3月24日 14:01
0

multiprocessingを使って、一番内側のforループの処理を並列化すれば、処理速度は向上すると思います。

並列化すると、どの順序で計算結果が返ってくるかが判らないので、

res.append(c)

だと、順序通りに入るかどうかが判りません。

配列resのどこに結果を入れるのかを指定するようなコードの工夫が必要かと思います。

res[i*N + j] = np.dot(a[i],b[j])
2
  • 回答ありがとうございます.今更ながらコードが間違っておりましたので修正しました.修正後のアルゴリズムであってもfor文を使わずに計算を行うのは難しいのでしょうか?ご教授いただきたいです.
    – sirouto
    Commented 2019年3月22日 7:25
  • ベクトルと配列の積を計算するのですから、全てのベクトルの組み合わせで積を計算する必要があります。全ての組み合わせを一つずつ書いても(100億行くらいのコードになります)、forやwhileの構文を使って繰り返させても、np.dotの計算をする回数は同じです。100億行のコードを書くよりも、質問にあるような数行で済むfor構文を使うほうが現実的だとは思います。
    – Fumu 7
    Commented 2019年3月23日 9:15

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。