1

下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidやtanhを指定した方がいいのではと思い、指定してみました。
すると、学習中に表示されるLossの値が途中から改善されず、プログラムの最後で実行しているランダムなデータを与えてみるテストでも100回やっていずれも同じ出力値になってしまいます。

活性化関数を指定しなかったりreluを指定するととりあえず動きはするのですが、精度が悪いので上記のように活性化関数等を工夫する必要があると思っています。
しかしsigmoidやtanh等を使用すると精度が悪化するどころかまともに動かないので、そもそも使い方を間違えているのではと思い質問させていただきました。

深層学習について触るのはこれが初めてになるため、何か常識が抜けているかもしれません。
JSで作成していますがTensorFlowや深層学習に関する話かと思いますので、そのあたりの知見をお持ちの方がいらっしゃいましたらJSでなくても改善点についてご指摘いただけますと幸いです。

const tf = require('@tensorflow/tfjs-node');
const fs = require('fs/promises');

(async () => {
  
  const xToy = tf.sequential();

  // このあたりの設定が分からない
  xToy.add(tf.layers.dense({units: 20, inputShape: [7]}));
  xToy.add(tf.layers.dense({units: 30, activation: 'sigmoid'}));
  xToy.add(tf.layers.dense({units: 1}));
  xToy.compile({optimizer: 'adam', loss: 'meanSquaredError'});

  let xDataSet = []
  let yDataSet = []

  let file = (await fs.readFile('data.csv', { encoding: 'utf-8' })).slice(0, 1000000)
  file.trim().split('\n').forEach(line => {
    let [sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil, totalEffect] = line.split(',').map(Number)
    xDataSet.push([sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil])
    yDataSet.push([totalEffect])
  })

  const xs = tf.tensor2d(xDataSet);
  const ys = tf.tensor2d(yDataSet);

  await xToy.fit(xs, ys, { epochs: 100 });

  // ランダムなデータを与えてみて結果を確認する
  for(let i = 0; i < 100; i++) {
    let sleepTime = Math.random() * 12;
    let checkFreq = Math.floor(Math.random() * 18) + 2;
    let p = Math.random() * 10;
    let speed = Math.floor(Math.random() * 3000) + 1000;
    let effect = Math.floor(Math.random() * 31);
    let bagSize = Math.floor(Math.random() * 30) + 5;
    let skillCeil = Math.ceil(144000 / speed);

    const [inferTotalEffect] = await xToy.predict(tf.tensor2d([
      [sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil]
    ])).data();

    console.log(inferTotalEffect);
  }
8
  • そもそもどういったモデルなのでしょうか?「入力は変数7つで、いずれも出力値とある程度の相関がある」とは回帰?分類?また「精度が悪い」とは何をもって判断されているのでしょうか?
    – merino
    Commented 7月3日 14:17
  • 1
    コメントありがとうございます。すみません、そのあたりの用語も知らなかったのですが今回は連続値の予測がしたいので回帰になると思います。 精度については、計算に時間がかかるのですが入力値7つから求めることが可能なのでそれとの差を見ていて、「予測できている」といえるレベルの数値が出ていないことから判断しています。 目的としては逐一計算すると非常に遅いので、多少誤差が出てもそれより早く値を求めたいという用途になります。 Commented 7月3日 14:29
  • 学習の進み具体はどうでしょうか?学習中のlossの変化はどうでしょうか?
    – merino
    Commented 7月3日 17:12
  • 引き続きコメントありがとうございます。 すみません、学習の進み具合は学習中のlossの変化を見ることと最後にサンプルデータで試すくらいしか知らないのですが、活性化関数にsigmoidやtanhのようなS字のグラフになるものを使うと、lossの値は途中で完全に止まって減らなくなります。 reluなどを使い、層も4つほど設定するとlossは特に止まらず徐々に減っていき、sigmoid等の時より小さい値になります(時間の都合で途中で止めましたが、エポック数を増やせばもっと小さくなりそうです) ただ学習が遅いのでそもそもsigmoid等を使った方が良いのではと思い今回の問題に至っているのですが、そぐわない問題にsigmoid等を使うとこのようになることは設定等の不備ではなくよくあることで、relu等の動く方で根気よく学習を続けるのが正しいということになりますでしょうか? Commented 7月4日 1:04
  • 回帰問題をニューラルネットワークで試したことがないのですが・・・回帰問題であれば最終層の活性化関数は恒等関数が一般的なようです。あるいは独自の関数を設定するのも良いかと思います。(ReLuはマイナス値を出力しませんが大丈夫ですか?)
    – merino
    Commented 7月4日 10:19

1 件の回答 1

0

結論から言うと、活性化関数はreluだけで十分に実用に耐えうるモデルが作成できました。
元々困っていた、「活性化関数にsigmoidやtanhを使用すると勾配消失問題にぶつかり、学習が進まなくなる」件については解決手法があるようですが、いずれも少し手間がかかるものと思われたため今回は試しませんでした。

今回の対応としては下記を行いました。

  • 入力値を極力0~1程度に収められるよう正規化
  • 学習データの追加(最終的に100万件用意)
  • 入力値10個出力値2個に対し、中間層は5つ、ユニット数は40に変更
    • 入力値は色々調整しているうちに増えました

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。