3

最近数値計算をpythonではじめましたのですが、
例えば、以下のような

import numpy as np
A = np.zeros(500,4,4)    
B = np.identity(4)

三次元配列Aと行列Bがあったとします。
ここではAはゼロ行列ですが、実際は非ゼロであるとしてください。

for i in range(0, 500):
    B = np.dot(A[i,:,:], B)

3次元配列Aの要素に対し奥行き方向に向かって、

A[499,:,:].dot(A[498,:,:])….dot(A[2,:,:]).dot(A[1,:,:]).dot(A[0,:,:])

と言った具体にドット積を求める際に
上記のようなfor文を使ってしまうと時間がかかってしまいます。
同じ処理結果でより高速な計算を行う記述の仕方はありませんでしょうか。

補足
上の、500*4*4の三次元配列Aを順に計算していく過程を数十回繰り返すつもりでいます。
得た結果をフィッティングにも用いたいのでなるべく処理速度を早めたいのです。
一連の過程で最も時間を要した部分がこのループであったため現状は痛手です。

計算するマシンにもよりますが、私の環境ですと、三次元配列を奥行方向へ1,2,…,499,500と
ドット積を計算するだけに要する時間は約0.4秒です。
目標は0.1秒程度まで縮めたいと考えておりました。

4
  • 1
    参考までに、reduce(lambda x, y: np.dot(y, x), A) の場合ですと、for loop 版より数%遅いです(timeitで計測)。また、BLAS のコードを直接呼び出す方法がありますが、その場合は10~15%程度遅くなります。計算処理を並列化すれば高速化が図れるかもしれません。
    – user39889
    Commented 2017年10月3日 11:24
  • ご回答ありがとうございました。 御返事が遅れてしまい申し訳ありません。 お二方がおっしゃるように、まずは並列処理を試そうと思います。
    – user25752
    Commented 2017年10月6日 4:08
  • for文だと時間がかかる、との事ですが、うちの環境だと500x4x4は一瞬で終わります。実際、どの規模の計算で、どのくらいを目標にしているのでしょうか。
    – packet0
    Commented 2017年10月9日 10:15
  • 当該コメントの内容を補足説明へ追加いたしました。
    – user25752
    Commented 2017年10月13日 7:56

2 件の回答 2

1

行列積は結合法則が成り立つので、multiprocessingを用いて

500個の行列(A1~A500)を分割し(A1~A100,A101~A200,,,A401~A500)、
各グループの行列積を並列に演算し、
各結果の積を求める

とすれば処理時間は短くなります。
ただ、その場合でもfor文は必須ですし、
GPUを駆使した方がベターです。

0

ufunc.reduceというのを見つけて、これでいけるんじゃないかと思ったのですが、残念ながらnp.dotufuncではないのでnp.dot.reduceとすることはできないようです。
https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.ufunc.reduce.html

しかし任意の関数からufuncを作れるnp.frompyfuncというものがあるようです。
https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.frompyfunc.html#numpy.frompyfunc

これを使い、無理やりnp.dotufuncバージョンを作ります。

udot = np.frompyfunc(np.dot, 2, 1)

そしてudot.reduceでAのドット積を求めることができます。

udot.reduce(A)

...しかし結局pythonの関数を使っているので、たぶん遅いと思います。

ここでも似た議論がされていますが、いい結論は出ていないようです。
https://stackoverflow.com/questions/27993153/how-to-fold-accumulate-a-numpy-matrix-product-dot

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。