0

こんにちは,
研究で深層学習をやっているものです.早速なのですが,PytorchとPythonは数を異なった扱いで処理しているのでしょうか?(例えばfloat32, double64など)

というのも,例えば非常に簡単なニューラルネット(ボールの重さmと発射角度theta,速度vを与えると落ちる位置を予測する)をPythonの自作のコードで定義した時と,Pytorchの既存のメソッドで定義するとします.

m, v の桁が小さい時は問題なく同じような予測結果になるのですが,桁を大きくすると(例えば10倍,100倍),自作ニューラルネットはoverflowします.

評価関数に誤差二乗和やあるいは活性化関数にシグモイドなど,累乗計算を要するものは,10倍のデータ値の違いであっても,指数関数的に計算の桁は増えますので,無理はない話だと思います.しかし,じゃあPytorchはどうやってそれを解消しているのでしょうか?単純に,データを最初にスケーリングして小さくして,吐き出すときに戻しているのでしょうか?

1
  • Pythonの基本の型であるfloatという名のdoubleと, そしてPyTorchには複数の浮動小数点形式があり, そのどれと比較してるのかわかりにくい気がします。他にGPU / CPUの違いも(もしかすると)関係するかもしれない。ので, 現在の環境と, 自作コードメソッド (違いの出た)PyTorch のメソッドなども質問に追記してみるのはどうでしょう
    – oriri
    2022年9月26日 7:12

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。