Skip to main content
本文に 53 文字追加; タイトルを編集
ソース リンク

Tensorflowの設定で活性化関数にsigmoidを指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる

下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidやtanhを指定した方がいいのではと思い、指定してみました。
すると、学習中に表示されるLossの値が途中から改善されず、プログラムの最後で実行しているランダムなデータを与えてみるテストで100回やっていずれも同じ出力になってしまいます。

活性化関数を指定しなかったりreluを指定するととりあえず動きはするのですが、精度が悪いので上記のように活性化関数等を工夫する必要があると思っているのですが、います。
しかしsigmoidやtanh等を使用すると精度が悪化するどころかまともに動かないので、そもそも使い方を間違えているのではと思い質問させていただきました。

Tensorflowの設定で活性化関数にsigmoidを指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる

下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidを指定した方がいいのではと思い、指定してみました。
すると、プログラムの最後で実行しているランダムなデータを与えてみるテストで100回やっていずれも同じ出力になってしまいます。

活性化関数を指定しなかったりreluを指定するととりあえず動きはするのですが、精度が悪いので上記のように活性化関数等を工夫する必要があると思っているのですが、精度が悪化するどころかまともに動かないので、そもそも使い方を間違えているのではと思い質問させていただきました。

Tensorflowの設定で活性化関数にsigmoidを指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる

下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidやtanhを指定した方がいいのではと思い、指定してみました。
すると、学習中に表示されるLossの値が途中から改善されず、プログラムの最後で実行しているランダムなデータを与えてみるテストで100回やっていずれも同じ出力になってしまいます。

活性化関数を指定しなかったりreluを指定するととりあえず動きはするのですが、精度が悪いので上記のように活性化関数等を工夫する必要があると思っています。
しかしsigmoidやtanh等を使用すると精度が悪化するどころかまともに動かないので、そもそも使い方を間違えているのではと思い質問させていただきました。

本文に 39 文字追加
ソース リンク

JS深層学習について触るのはこれが初めてになるため、何か常識が抜けているかもしれません。
JSで作成していますがTensorFlowやディープラーニング深層学習に関する話かと思いますので、そのあたりの知見をお持ちの方がいらっしゃいましたらJSでなくても改善点についてご指摘いただけますと幸いです。

JSで作成していますがTensorFlowやディープラーニングに関する話かと思いますので、そのあたりの知見をお持ちの方がいらっしゃいましたらJSでなくても改善点についてご指摘いただけますと幸いです。

深層学習について触るのはこれが初めてになるため、何か常識が抜けているかもしれません。
JSで作成していますがTensorFlowや深層学習に関する話かと思いますので、そのあたりの知見をお持ちの方がいらっしゃいましたらJSでなくても改善点についてご指摘いただけますと幸いです。

ソース リンク

Tensorflowの設定で活性化関数にsigmoidを指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる

下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidを指定した方がいいのではと思い、指定してみました。
すると、プログラムの最後で実行しているランダムなデータを与えてみるテストで100回やっていずれも同じ出力地になってしまいます。

活性化関数を指定しなかったりreluを指定するととりあえず動きはするのですが、精度が悪いので上記のように活性化関数等を工夫する必要があると思っているのですが、精度が悪化するどころかまともに動かないので、そもそも使い方を間違えているのではと思い質問させていただきました。

JSで作成していますがTensorFlowやディープラーニングに関する話かと思いますので、そのあたりの知見をお持ちの方がいらっしゃいましたらJSでなくても改善点についてご指摘いただけますと幸いです。

const tf = require('@tensorflow/tfjs-node');
const fs = require('fs/promises');

(async () => {
  
  const xToy = tf.sequential();

  // このあたりの設定が分からない
  xToy.add(tf.layers.dense({units: 20, inputShape: [7]}));
  xToy.add(tf.layers.dense({units: 30, activation: 'sigmoid'}));
  xToy.add(tf.layers.dense({units: 1}));
  xToy.compile({optimizer: 'adam', loss: 'meanSquaredError'});

  let xDataSet = []
  let yDataSet = []

  let file = (await fs.readFile('data.csv', { encoding: 'utf-8' })).slice(0, 1000000)
  file.trim().split('\n').forEach(line => {
    let [sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil, totalEffect] = line.split(',').map(Number)
    xDataSet.push([sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil])
    yDataSet.push([totalEffect])
  })

  const xs = tf.tensor2d(xDataSet);
  const ys = tf.tensor2d(yDataSet);

  await xToy.fit(xs, ys, { epochs: 100 });

  // ランダムなデータを与えてみて結果を確認する
  for(let i = 0; i < 100; i++) {
    let sleepTime = Math.random() * 12;
    let checkFreq = Math.floor(Math.random() * 18) + 2;
    let p = Math.random() * 10;
    let speed = Math.floor(Math.random() * 3000) + 1000;
    let effect = Math.floor(Math.random() * 31);
    let bagSize = Math.floor(Math.random() * 30) + 5;
    let skillCeil = Math.ceil(144000 / speed);

    const [inferTotalEffect] = await xToy.predict(tf.tensor2d([
      [sleepTime, checkFreq, p, speed, effect, bagSize, skillCeil]
    ])).data();

    console.log(inferTotalEffect);
  }