1

Chainerにオリジナルのoptimizerを追加するよい方法はないかという趣旨の質問です。

現在、フレームワークを使わず、通常のPythonライブラリとCupyだけで作ったCNNで、新しいoptimizerをテストしております。

現在のところ、MNISTおよびCifar-10でテストを行い、新しいoptimizerが、Adamなど主要なアルゴリズムより高速であることまでは確認しました。

最終的には、ResNetを構成し、ILSVRC2012のデータ等でテストしたいのですが、実績のあるフレームワークに当該アルゴリズムを載せてテストできないかと考えました。Cupyが非常に使いやすく安定だったため、Chainerで実現できないかといろいろ模索しています。

GitHubにあるChainerのoptimizerのコードを見ましたが、最適化アルゴリズムだけでなく、ライブラリとしての複雑なメカニズムがあるようで簡単ではなく、方法の見当がつきません。

Chainerにオリジナルのoptimizerを追加する方法について、何かヒントになる事例などがあれば教えていただけないでしょうか。よろしくお願いします。

1 件の回答 1

0

例から行くと、SGDが基本だと思います。https://github.com/chainer/chainer/blob/v5.4.0/chainer/optimizers/sgd.py#L51

それをまねして、動くないと言うことでしたら、自分が使っているコードを見せていただけませんか。

よろしくお願いします。

2
  • 御回答をいただき、ありがとうございます。 大分前に御回答いただいているのに気がつかず、大変申し訳ありません。 しばらくは回答を毎日チェックしていたのですが、そのうちこの問題を一時棚上げして別のアプローチを試みていました。 御回答のコードを参考にトライしてみます。 SGDと違い、updateの方向を求めるのにgradと他のベクトルの内積などが必要で、そのままcupyのdotでやってしまっていいのかなど、細かいところが気になっています。 うまく動かなければ、コードを見ていただきたいとは思いますが、何分オリジナルのoptimizerですので、説明がたくさん必要で、おそらく現在準備中の論文も見ていただく方が早いのかと思っていますが、このサイト以外に情報を共有する方法はあるでしょうか。 よろしくお願いします。
    – user35667
    Commented 2019年8月31日 15:43
  • 論文を頑張ってください! Commented 2019年9月3日 5:10

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。