次の項目のタイムライン: Tensorflowの設定で活性化関数にsigmoid等を指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる
現在のライセンス: CC BY-SA 4.0
14 件のイベント
日時 書式を切り替える | 内容 | ユーザー | ライセンス | コメント | |
---|---|---|---|---|---|
8月4日 10:35 | 投票 | 承認 | 晴空リウル | ||
8月4日 10:35 | 回答 | 追加済み | 晴空リウル | タイムライン スコア: 0 | |
7月5日 0:30 | コメント | 追加済み | 晴空リウル | 引き続きコメントありがとうございます。 特徴量の正規化は特にしていなかったので、試してみたいと思います。 また勾配消失問題についてですが、まさにこの問題が起きているものと思われます。 解決策がいくつかあるようなので、それも試してみたいと思います。 結果が出ましたらまた報告いたします。 | |
7月4日 14:56 | コメント | 追加済み | merino | 特徴量の正規化は行っていますか?行うことで精度が上がることがあるかと思います。あとはoptimizerを変えてみたり層を増やしみたりでしょうか。シグモイド関数には勾配消失問題があると言われていますね。 | |
7月4日 13:25 | コメント | 追加済み | 晴空リウル | 最終層の活性化関数は今は恒等関数を使用しているのでその点は大丈夫だと思います。sigmoidやtanh等を試していたのは中間層なのですが、中間層に使用するのは一般的ではないのでしょうか? | |
7月4日 10:19 | コメント | 追加済み | merino | 回帰問題をニューラルネットワークで試したことがないのですが・・・回帰問題であれば最終層の活性化関数は恒等関数が一般的なようです。あるいは独自の関数を設定するのも良いかと思います。(ReLuはマイナス値を出力しませんが大丈夫ですか?) | |
7月4日 1:04 | コメント | 追加済み | 晴空リウル | 引き続きコメントありがとうございます。 すみません、学習の進み具合は学習中のlossの変化を見ることと最後にサンプルデータで試すくらいしか知らないのですが、活性化関数にsigmoidやtanhのようなS字のグラフになるものを使うと、lossの値は途中で完全に止まって減らなくなります。 reluなどを使い、層も4つほど設定するとlossは特に止まらず徐々に減っていき、sigmoid等の時より小さい値になります(時間の都合で途中で止めましたが、エポック数を増やせばもっと小さくなりそうです) ただ学習が遅いのでそもそもsigmoid等を使った方が良いのではと思い今回の問題に至っているのですが、そぐわない問題にsigmoid等を使うとこのようになることは設定等の不備ではなくよくあることで、relu等の動く方で根気よく学習を続けるのが正しいということになりますでしょうか? | |
7月3日 17:12 | コメント | 追加済み | merino | 学習の進み具体はどうでしょうか?学習中のlossの変化はどうでしょうか? | |
7月3日 14:29 | コメント | 追加済み | 晴空リウル | コメントありがとうございます。すみません、そのあたりの用語も知らなかったのですが今回は連続値の予測がしたいので回帰になると思います。 精度については、計算に時間がかかるのですが入力値7つから求めることが可能なのでそれとの差を見ていて、「予測できている」といえるレベルの数値が出ていないことから判断しています。 目的としては逐一計算すると非常に遅いので、多少誤差が出てもそれより早く値を求めたいという用途になります。 | |
7月3日 14:17 | コメント | 追加済み | merino | そもそもどういったモデルなのでしょうか?「入力は変数7つで、いずれも出力値とある程度の相関がある」とは回帰?分類?また「精度が悪い」とは何をもって判断されているのでしょうか? | |
7月3日 12:03 | 履歴 | 編集日時 | 晴空リウル | CC BY-SA 4.0 |
本文に 53 文字追加; タイトルを編集
|
7月3日 11:55 | 履歴 | 編集日時 | 晴空リウル | CC BY-SA 4.0 |
本文に 39 文字追加
|
S 7月3日 11:48 | レビュー | 初めての質問 | |||
7月16日 1:59 | |||||
S 7月3日 11:48 | 履歴 | 質問を投稿 | 晴空リウル | CC BY-SA 4.0 |