2

個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。

入力をバッチ次元xデータ次元yなf(x,y)
重みをデータ次元yニューロン次元zなg(y,z)
としたとき、行列積に相当する計算は、おそらく

∫f(x,y)*g(y,z)dy (でy=0〜nの定積分)

のようになるだろうという所までは考えを進めました。

そしてこの形がほぼシフト値0の相互相関関数に近いという事までは調べる事ができたのですが、相互相関関数は一般的に一変数のもので、多変数のものがあったとしてもx,y,zの3変数を用いてyを定積分で潰す形について説明している資料が見つけられませんでした。

行列積を一般化しただけなので、この形はそれほど特殊ではなく一般的な名称があるのではないかと考えたのですが、そのようなものをご存知であれば教えていただきたいのです。


追記1
コメントを受け、誤解を招きそうな部分を追記で補います。最終的な目的は、行列の全てのパラメータを連続化し、xy平面を成す関数として捉え直し、それをもってパーセプトロンを記述することです。

まず行列を、2つのインデックス(i,j)を引数にとり一つの値を返す関数と見做します。このままでは(i,j)は行と列の要素を指す整数値しか取れないので、ここを一般化して中間の値を滑らかに指定できるようにすると、もはや行列はパラメータ(x,y)でxy平面を作る関数f(x,y)と見做せるであろう、という考え方をしています。

そのような関数同士の、行列積に相当する関数(汎関数でしょうか)を考えた時に上記のような形が思い当たったという経緯です。

そして、この関数の性質を更に掘り下げるため、既存の呼称やこれについて説明した資料を求めているという形になります。

行列積の関数版(パラメータ連続版)が相互相関関数であると考えた根拠として、ベクトルの内積が相互相関関数の離散版であると指摘しているサイトを参考に挙げます。

http://hooktail.sub.jp/fourieralysis/RelationFnc/


追記2
蛇足かもしれませんが、上記の式が行列積に相当することをSympy(Python3)で確認したプログラムを貼りつけておきます。

行列から生成した積と関数から生成した行列積相当なものの比較

import sympy as sp
import numpy as np
import matplotlib.pyplot as plt

x, y, z = sp.symbols("x, y, z")


def dot_for_functions(f, g, xs):
    h = sp.integrate(f * g, (xs, 0, 1))
    return h


if __name__ == '__main__':
    f_xy = sp.sin(10*x) + y  # xとyの適当な関数
    g_yz = sp.sin(4*y) + sp.cos(4*z)  # yとzの適当な関数

    h_xz = dot_for_functions(f_xy, g_yz, y).simplify()

    # 値域 0to1 の 離散化した 32x32 行列として F, G, H を作成
    F = np.zeros((32, 32))
    G = np.zeros((32, 32))
    H = np.zeros((32, 32))

    for iy in range(0, 32):
        vy = iy / 31
        for ix in range(0, 32):
            vx = ix / 31
            vf = f_xy.subs(x, vx).subs(y, vy)
            F[ix, iy] = vf

    for iz in range(0, 32):
        vz = iz / 31
        for iy in range(0, 32):
            vy = iy / 31
            vg = g_yz.subs(y, vy).subs(z, vz)
            G[iy, iz] = vg
        for ix in range(0, 32):
            vx = ix / 31
            vh = h_xz.subs(x, vx).subs(z, vz)
            H[ix, iz] = vh

    # 行列の内積から生成したdot(F, G)が
    # 関数の内積的表現から生成したHにほぼ近いことを確認
    H_from_matrix = np.dot(F, G)

    plt.subplot(2, 2, 1)
    plt.imshow(F)
    plt.ylabel("F")
    plt.subplot(2, 2, 2)
    plt.imshow(G)
    plt.ylabel("G")
    plt.subplot(2, 2, 3)
    plt.imshow(H)
    plt.ylabel("H")
    plt.subplot(2, 2, 4)
    plt.imshow(H_from_matrix)
    plt.ylabel("H raw")
    plt.show()

追記3
頂いたコメントを読み直し、調べ直した所、関数同士の積の積分は単に関数同士の内積と呼ばれている事を理解しました。

あとははじめに示したように、行列計算と同様のf(x,y)、g(y,z)を取る場合に特別な呼称が有れば良いのですが、無ければただのそういう内積であるものとして納得しようと思います。

3
  • 行列積の各成分は行ベクトルと列ベクトルの内積という解説がよくなされるので、挙げられている式も(相互相関関数というより)f, gのyに関する(?)内積と見ました。複素関数の内積を連想しますが、うーん、なんか違うような…行列とも関係がなさそうです。
    – sei0o
    2021年6月17日 6:38
  • はい、行列そのままで見れば単にベクトル単位での内積を積み重ねたものなんですが、ベクトルの内積が相互相関関数のパラメータ離散版であるというような解説をいくつか見つけたので、行列の全てのパラメータを連続化してxy平面を指す関数として捉え直したいというのが主旨になります。 2021年6月17日 7:27
  • すみません勘違いしていました。ベクトルでなく関数同士でも、互いに掛けて積分を取る形を単に関数の内積と言うのですね。内積というものはベクトル同士に対して定義されているもので、関数の場合は相互相関関数の特殊な形であるという先入観に捉われていました。おっしゃる通り、f,gのyに関する内積という表現で良いのかもしれません。 2021年6月17日 14:01

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。