次のタグが付いている話題の回答:

5

日本語で深層学習の用語

リスト中の用語は新しいものが多いです。定まった訳が無いものもあります。英語のまま書くことができるなら、そうするのが良いでしょう。 また、日本語には複数形が無いことにも注意してください。たとえば、"neural networks" に対応するカタカナは「ニューラルネットワークス」ではなく「ニューラルネットワーク」であることが多いです。 Since some of the listed terms ...
nekketsuuu's user avatar
  • 2.3万
5
Accepted

CNNで動物の顔を認識させるにあたり、活性化関数にはソフトマックスとシグモイドのどちらが良いですか?

2クラス分類についてはソフトマックスよりもシグモイドを用いるべきです. この理由は,シグモイドはソフトマックスの2クラス時の場合に対応するからです. シグモイドの場合出力が二つでなく一つなのは2クラス分類において片方のクラスの確率さえ分かればもう片方の確率を自動的に決めることができるからです. 実際にシグモイドを式変形すると片方のクラスの入力に関係する重みが全て0(...
okdshin's user avatar
  • 860
5
Accepted

ディープラーニングの解析結果が常に同じ値になります

modelConfig.layer(layer, OutputLayer.Builder() .nIn(beforeOutputCount) .nOut(1) .activation(Activation.SIGMOID) .weightInit(WeightInit.XAVIER) .build()) 最後の層の出力にSIGMOID関数がかかるので、...
zakki's user avatar
  • 2,024
4

TensorFlowでDQN なぜかQ最大値が小さい

playerがランダムアクションする確率をexploration=0.1としているようですが,ここが最初から0.1という小さい値で固定されているのがおかしいと思います. 最初からepsilonが小さいとまだ学習していないモデルがたまたま取るアクションについてばかり経験が蓄積されてしまい,学習がうまく進みません. 最初の方は様々なアクションを試して経験を貯め,...
okdshin's user avatar
  • 860
4

tensorflowの勾配の値を取り出したい

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate) grad, var = optimizer.compute_gradients(cost) train_op = optimizer.apply_gradients([grad, var]) のようにすると grad として勾配を取り出すことができます。
Masashi Kimura's user avatar
4
Accepted

ゼロから作るDeep Learning

ndarrayは内部に「型」をもちます。 print(np.array([3.0, 4.0]).dtype) # float64 print(np.array([3, 4]).dtype) # int32 今回のような浮動小数点数の計算をしたい場合に、int系の型のndarrayを渡すと、結果がintに丸められてしまいます。 x = np.array([3, 4]) x[0] += 0.1 ...
user36828's user avatar
4
Accepted

CNNにおいて奇数サイズのカーネルが推奨されるのはなぜですか

「中心に画素が存在するため」で納得できないのは当然のことと思います。 そこで噛み砕いて説明すると、 「中心となる基準のピクセルがカーネルに存在しない場合、フィルターが上手くかからないから」 ということだと思います。 カーネルが(2k, 2k)となるようなものを使おうとすると、その中央は(k+0.5, k+0.5)の位置になります。 例えば、サイズが(4,4)のカーネルの中心は(2.5, 2.5)...
polarmap's user avatar
  • 369
3
Accepted

CNNによる動物の顔認識について

豚と豚以外のデータの比率を1:1にすべきかどうかですが,データ全体の中ではそうすべきではありません. 極端な例として,用意した豚の画像は500枚ですが,この世に存在する豚以外の物体の種類は明らかに500種類より多くあります.なので1:1で豚以外の物体を集めると必ずそこには含まれない物体が存在します.NNにまったく汎化性能が無いと仮定すると,含まれない物体は豚かどうか判別が不可能ということになります....
okdshin's user avatar
  • 860
3

CNNによる動物の顔認識について

この‌​とき豚と豚以外のデータ数の比率は1:1 「とりあえずまずは」1:1で良いかと思います。 この辺はファインチューニングが必要で、結果に即した検証結果がまずいようならばハイパーパラメータだけでなく学習データも変更していく等の対策が必要ですが、恐らく比率はそこまで影響しないと思います。 あと豚以外として‌​選定するデータとしてはどういった指標で選‌​択するべきなのでしょうか。 ...
H.H's user avatar
  • 1,988
2
Accepted

深層学習: 過学習について

検証データは基本的にハイパーパラメータが正しいか確認するためのものではありません。どのハイパーパラメータの値が最も良いかを探索するために用いられます。すなわち、複数のハイパーパラメータでモデルをそれぞれ学習させ認識精度を比較することで、最も適合するハイパーパラメータを探索するためのデータとして用いられます。 学習による認識モデルは学習を繰り返すと学習データに対して認識精度が100%になるものの、...
okdshin's user avatar
  • 860
2
Accepted

dockerを利用したyolov3のmake エラーについて

このページ https://github.com/NVIDIA/nvidia-docker/wiki/CUDA にあるように,runtimeコンテナには静的ライブラリなどは入っておらず,CUDAを使用するアプリケーションをビルドするにはdevelコンテナを使用する必要があります. ですから,Dockerfileの FROM nvidia/cuda:9.0-runtime-ubuntu16....
okeigo's user avatar
  • 36
2

データセットをバッチ処理したいが、、、

現状ではnew[i]の時に初期化ができていないのでlist assignment index out of rangeというエラーになります。問題点は多いですが、取り敢えず以下のようなコードから始めてみたらどうでしょうか。 new = [] for i in range(250): new.append(data[1200*i : 1200*(i+1)])
Yasuhiro Niji's user avatar
2

オンライン学習、バッチ学習、ミニバッチ学習の違い

厳密にはバッチ、オンライン、ミニバッチとは、ネットワークのパラメータ(重み)更新のタイミングです。 バッチ:全部学習してから更新(学習する順番の影響がない、メモリ容量が大きくなりがち) オンライン:1データ学習する毎に更新(最初より最後のデータの影響が大きい) ミニバッチ:N個(分類したいクラス数より大きい数 10倍くらい)のデータを学習してから更新 ネットワークのパラメータ(重み)...
Hiroyuki Taniichi's user avatar
2

ファインチューニングの精度向上について

学習データ不足の場合に過学習を防ぐために畳み込み層を固定にすることが多いだけで、学習用のデータが十分多ければ学習可能な層が多いほど精度が上がるのは当然です。 訓練時の精度もバリデーション時の精度も上がっているのでしたら問題ないと思います。
zakki's user avatar
  • 2,024
2

Keras の validation_split は交差検証でしょうか?

交差検証ではありません。 validation_split は、データセットのシャッフルをする前に、指定した割合のデータをバリデーション用として切り出すための引数です1。また、バリデーションデータはデータセットの末尾から指定割合ぶんを取得しています2。このため、すべてのエポックで同じデータがバリデーションに使われており、抽出方法もランダム抽出ではありません。 shuffle は、...
Yuki Sasaki's user avatar
2
Accepted

簡単なニューラルネットワークにおいて誤差が突然0になって学習が止まる現象について~ Numpyの数値の型との因果関係~

ReLU関数は x < 0 で勾配が0になります。 質問のコードでは教師データが [4, 3, 2, 1] の1パターンで、パラメーターはnp.random.randn(4,1)の正規分布なので、1/2の確率で f(4, 3, 2, 1) < 0 になり結果的にgrads = 0でそれ以上学習が進みません。 実際的なディープラーニングのモデルでは、パラメーター数が多く、...
zakki's user avatar
  • 2,024
2

これは" 過学習" 現象なのでしょうか?

過学習かどうかはテストデータで判断することが一般的かと思います。 質問文のみでは情報が少なくて断定はできませんが、質問者さんの「過学習」に対する認識が違うように思われます。(質問文からですと学習率の違いが訓練課程に影響していそうですが) 詰め込みすぎて使えない?過学習の落とし穴 質問の両モデルについてもテストデータで正解率等を比べないとどちらもモデルが優れているかも判断できないかと思いますよ。
merino's user avatar
  • 1,192
1

深層学習の層数について

単純に層を深い方が性能が上がるというものではありません。 NNのはしりの時にはそのように考えられましたが実際には層を深くすると性能があがるどころかかえって下がることがわかり、ブームは下火になりました。 しかし、条件(モデルの構造や学習データ、その他諸々)次第では多層で性能が高いモデルを実現できることがわかり、最近のディープラーニングブームになったわけです。...
suzukis's user avatar
  • 1.2万
1

Chainerでオートエンコーダーを作る際にTypeError: Unsupported type <class 'NoneType'>というエラー

正解データとloss functionが与えられていないためにエラーが起きています. trainerを使わずに書くと for batch in train_iter: con = chainer.dataset.concat_examples(batch) # dataset[0], dataset[1], ...を一つのarrayに入れる con = chainer....
nattochaduke's user avatar
1
Accepted

segnetの使い方について

マルチポスト先で回答をいただきました。 よって、自己解決とさせていただきます。 回答内容: Keras や Tensorflow で実装した segnet があるため、そちらの方を使用する。 ( https://qiita.com/uni-3/items/a62daa5a03a02f5fa46d )
vicmoc3's user avatar
  • 51
1

オンライン学習、バッチ学習、ミニバッチ学習の違い

バッチ学習  :全てのサンプルデータを用いて学習する オンライン学習:サンプルデータのうち1つだけ(ランダムに)選んで学習する ミニバッチ学習:ミニバッチサイズを10とすると         サンプルデータのうち10つ(ランダムに)選んで学習する 全サンプルデータが1000枚だとすると バッチ学習:1回学習すれば1エポック オンライン学習:1000回学習すれば1エポック ミニバッチ学習:...
naoki fujita's user avatar
1

ディープラーニングにおいて、データ数が少ない場合の過学習が起きているかどうかの判断

主に以下の確認が必要だと思います。 1.50のデータの内、テストに使うデータはいくつなのか。 2.何度やっても毎回同じような結果になるのか。 3.訓練・テストデータの分け方が毎回同じになっていないか。 4.アウトプットの分類数に応じた、十分なデータ量なのか。 5.訓練・テスト共に正解率が確実に高くなる筈の組み合わせで行ったら結果はどうなるのか。 6.訓練回数を下げた場合、結果はどうなるのか。 ...
M.M.'s user avatar
  • 899
1

深層学習における色の学習はされているのでしょうか?

深層学習モデルはただ入力された数字のみを見て積和演算を行なっています。 白黒(1チャンネル)をRGB(3チャンネル)に拡張する際、どのチャンネルのどの位置ににどれだけの数値を配置すれば正解との乖離が少なくなるかを突き詰めていきます。ですので、第何層でどのような特徴量を抽出しているかはブラックボックスです。
Kazuki000's user avatar
1

Pythonによるバッチ版Affineレイヤ(誤差逆伝播法)の実装方法について

バッチの場合、順伝播の計算時にbはもう一方の項np.dot(x,W)に合わせて、つまりはバッチサイズに合わせて自動的に拡大して足し合わされます。 これにより「+ノードの下位ノード」はbそのものではなく、bに対して演算を施したものになっています。 バイアス項は入力1、重みbのことですから、順伝播ではそれをかけ合わせていると考えれば逆伝播のdbの求め方はdWと同じ形になるはずです。ですから ...
orangecat's user avatar
  • 1,001
1

OpenPoseをGPUで動かそうとすると No module name 'cupy'

「cuda インストール済」 RuntimeError: CUDA environment is not correctly set up (see https://github.com/chainer/chainer#installation).No module named 'cupy' [直訳] CUDA環境が正しくセットアップされていません。 https://github....
Fumu 7's user avatar
  • 4,213
1

pythonでTFlearnがインポートできないです。

今回出ているメッセージは2つとも警告 (Warning) であり、エラーではありません。また、どちらの警告も TFlearn を動かすために使われている関数が将来のバージョンアップによって使えなくなる (deprecated である) ことを言っているだけであり、今すぐに影響があるとまでは言っていません。更新頻度が高いパッケージを使う際、依存しているパッケージたちのバージョンが頻繁に上がることで ...
nekketsuuu's user avatar
  • 2.3万
1

darknet YOLOv3 GPU使用時のmakeについて

結論としてOpencv 3.4.0でもdarknetのmakeが実行できました。 様々なことを試していたためどれが本当に効いたのかわかりませんが、私が行ったことを記載しておきます。 darknetのMakefileでまずOPENCV=1にして他を0にしてmakeする。 makeが実行できた後にmake cleanを行う。 最後にdarknetのMakefileでOPENCV=1, GPU=...
pkoko's user avatar
  • 293
1
Accepted

TensorFlow object detection api SSD 転移学習: クラス数を変化させた時に学習済みモデルを使ったクラス層の重みの初期化はどのように行われているのか

https://github.com/tensorflow/models/blob/master/research/object_detection/utils/variables_helper.py#L133 ソース内で該当するコードがありました。基本的に学習済みモデルの層と新しく作るモデルの層で名前が一致するものを比較して、同じ形だったら重みを保持しておくという処理なので、...
Kazuya Hatta's user avatar
1
Accepted

ゼロから作るDeep Learning:定数関数の微分

私もその本をたまたま持ってます。 次に、loss_W = lambda W: self.loss(x, t)は、Wに関係なく定数cを返す定数関数として確定します。 これが違いますね。loss_Wはselfつまりインスタンスオブジェクトのデータに依存して計算します。つまりselfの持つデータが変わればloss_Wの返す値も変わりうるのです。 そして、...
sigh's user avatar
  • 628
1
Accepted

TensorFlowにおけるバリデーション方法

train_dataのみで学習と精度の上昇具合を繰り返している状態ですと、 train_data内でのデータに関してはもしかしたら100%の精度を保てるかもしれませんが、 実際にはtrain_data以外のデータでも学習されたモデルで精度が確保される状態にする必要があります。 ここで質問者様がおっしゃられている「バリデーションを行うべき」とは 「...
H.H's user avatar
  • 1,988

Only top scored, non community-wiki answers of a minimum length are eligible