6
どのあたりまでご存知で、どのあたりをご存知でないかが質問文からはわかりにくいため、やや冗長な回答となります。尚、私自身は実装を行ったことはなく、あくまでフレームワークなどを試しに触っているレベルの1ユーザです。
背景知識
ゼロから始めるDeepLearning_その1_ニューラルネットとは - 分からんこと多すぎ
ニューラルネットを実装するにあたって、その基本的な背景を知っていると良いかもしれません。
この方の連載記事を読み進めると、制限ボルツマンマシン(RBM)などについて概要を知ることが出来そうです。論文へのリンクもありました。
Theano で Deep Learning <3> : 畳み込みニューラルネットワーク - StatsFragments
また、...
5
リスト中の用語は新しいものが多いです。定まった訳が無いものもあります。英語のまま書くことができるなら、そうするのが良いでしょう。
また、日本語には複数形が無いことにも注意してください。たとえば、"neural networks" に対応するカタカナは「ニューラルネットワークス」ではなく「ニューラルネットワーク」であることが多いです。
Since some of the listed terms are new, there are terms which have no well-known translation. If you can leave them in English, I think it's better.
Also, note that Japanese language doesn'...
5
2クラス分類についてはソフトマックスよりもシグモイドを用いるべきです.
この理由は,シグモイドはソフトマックスの2クラス時の場合に対応するからです.
シグモイドの場合出力が二つでなく一つなのは2クラス分類において片方のクラスの確率さえ分かればもう片方の確率を自動的に決めることができるからです.
実際にシグモイドを式変形すると片方のクラスの入力に関係する重みが全て0(つまりソフトマックスに入力される片方のクラスの値が固定値,ソフトマックスの場合片方のクラスについて入力される値が0でももう片方のクラスの入力が負なら正規化の効果で出力は0にならないことに注意)の2クラス用ソフトマックスになります.
これだけならソフトマックスを使うのでもかまわないという話になりますが(そして実際にはそれでも特に問題はないでしょうが)...
5
modelConfig.layer(layer, OutputLayer.Builder()
.nIn(beforeOutputCount)
.nOut(1)
.activation(Activation.SIGMOID)
.weightInit(WeightInit.XAVIER)
.build())
最後の層の出力にSIGMOID関数がかかるので、必ず0~1になります。
データセットの具体例がないので正確にはわかりませんが、売り上げ個数ということで実際は自然数になるはずですが、0~1の範囲で最も近い0.999…になっているのではないでしょうか。
val middleLayerLength = 100
...
4
playerがランダムアクションする確率をexploration=0.1としているようですが,ここが最初から0.1という小さい値で固定されているのがおかしいと思います.
最初からepsilonが小さいとまだ学習していないモデルがたまたま取るアクションについてばかり経験が蓄積されてしまい,学習がうまく進みません.
最初の方は様々なアクションを試して経験を貯め,後の方は学習したモデルで収益を最大化するために,最初はexploration=1.0から始めて特定の値になるまで徐々に減らしていく(例えば,0.1になるまでアクションする度に0.00001ずつ減らしていく)という手法,いわゆるepsilon-greedyがDQNの実装ではよく用いられているようです(実装が簡単だし効果もあるので).
紹介されている「...
4
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
grad, var = optimizer.compute_gradients(cost)
train_op = optimizer.apply_gradients([grad, var])
のようにすると grad として勾配を取り出すことができます。
4
ndarrayは内部に「型」をもちます。
print(np.array([3.0, 4.0]).dtype)
# float64
print(np.array([3, 4]).dtype)
# int32
今回のような浮動小数点数の計算をしたい場合に、int系の型のndarrayを渡すと、結果がintに丸められてしまいます。
x = np.array([3, 4])
x[0] += 0.1
print(x)
# [3 4]
次のようにすれば、[3.0,4.0]と同じ結果を得るはずです:
numerical_gradient(f2, np.array([3, 4]).astype(np.float))
参考:
https://docs.scipy.org/doc/numpy/reference/...
3
豚と豚以外のデータの比率を1:1にすべきかどうかですが,データ全体の中ではそうすべきではありません.
極端な例として,用意した豚の画像は500枚ですが,この世に存在する豚以外の物体の種類は明らかに500種類より多くあります.なので1:1で豚以外の物体を集めると必ずそこには含まれない物体が存在します.NNにまったく汎化性能が無いと仮定すると,含まれない物体は豚かどうか判別が不可能ということになります.
なので集める豚以外のデータはできるだけ量も種類も多いほうが良いでしょう.
一方で,一般的なNNの学習だと学習時にミニバッチを作ると思うのですが,そのミニバッチにおける比率は豚と豚以外とで1:1にするべきです.
これは,もしミニバッチの中に豚がほんの僅かにしか含まれないと,NNが全てのデータの内容を無視して「...
3
このとき豚と豚以外のデータ数の比率は1:1
「とりあえずまずは」1:1で良いかと思います。
この辺はファインチューニングが必要で、結果に即した検証結果がまずいようならばハイパーパラメータだけでなく学習データも変更していく等の対策が必要ですが、恐らく比率はそこまで影響しないと思います。
あと豚以外として選定するデータとしてはどういった指標で選択するべきなのでしょうか。
実運用に則して異なります。
実運用上あらゆる画像が来ることを想定しているのであるならば、Google画像検索API等を使用して広くランダムなデータを用意すべきです。
恣意的にデータを選択してしまうと「過学習」が起こり、学習データ以外での精度がグッと落ちてしまいます。
(...
2
検証データは基本的にハイパーパラメータが正しいか確認するためのものではありません。どのハイパーパラメータの値が最も良いかを探索するために用いられます。すなわち、複数のハイパーパラメータでモデルをそれぞれ学習させ認識精度を比較することで、最も適合するハイパーパラメータを探索するためのデータとして用いられます。
学習による認識モデルは学習を繰り返すと学習データに対して認識精度が100%になるものの、学習データに含まれていない未知のデータに対しては認識精度が学習の途中のモデルよりもむしろ悪くなってしまうという現象が起こります。これを過学習といいます。特にCNNを含むNNのモデルは表現能力が高く、学習データに対して容易に過学習を起こしてしまいます。
このため、...
2
このページ https://github.com/NVIDIA/nvidia-docker/wiki/CUDA にあるように,runtimeコンテナには静的ライブラリなどは入っておらず,CUDAを使用するアプリケーションをビルドするにはdevelコンテナを使用する必要があります.
ですから,Dockerfileの
FROM nvidia/cuda:9.0-runtime-ubuntu16.04を
FROM nvidia/cuda:9.0-devel-ubuntu16.04
とすればビルドできるようになります.
2
現状ではnew[i]の時に初期化ができていないのでlist assignment index out of rangeというエラーになります。問題点は多いですが、取り敢えず以下のようなコードから始めてみたらどうでしょうか。
new = []
for i in range(250):
new.append(data[1200*i : 1200*(i+1)])
2
厳密にはバッチ、オンライン、ミニバッチとは、ネットワークのパラメータ(重み)更新のタイミングです。
バッチ:全部学習してから更新(学習する順番の影響がない、メモリ容量が大きくなりがち)
オンライン:1データ学習する毎に更新(最初より最後のデータの影響が大きい)
ミニバッチ:N個(分類したいクラス数より大きい数 10倍くらい)のデータを学習してから更新
ネットワークのパラメータ(重み)は最初はランダムで、損失が少なくなるように更新する(学習)ことで、
学習データの特徴を反映した出力を得ることができます。
2
学習データ不足の場合に過学習を防ぐために畳み込み層を固定にすることが多いだけで、学習用のデータが十分多ければ学習可能な層が多いほど精度が上がるのは当然です。
訓練時の精度もバリデーション時の精度も上がっているのでしたら問題ないと思います。
1
単純に層を深い方が性能が上がるというものではありません。
NNのはしりの時にはそのように考えられましたが実際には層を深くすると性能があがるどころかかえって下がることがわかり、ブームは下火になりました。
しかし、条件(モデルの構造や学習データ、その他諸々)次第では多層で性能が高いモデルを実現できることがわかり、最近のディープラーニングブームになったわけです。条件次第というのがポイントでただ闇雲に層を増やしたから性能が高くなったわけではありません。
また、モデルはあったとしても問題に対応した十分な量と質の学習データを用意するのは大変です。ところが、適切に学習させたモデルは、別の問題でも(比較的少量の追加データとカスタマイズで)高い性能を示すことがわかりました。これが転移学習です。これも万能ではなく、...
1
正解データとloss functionが与えられていないためにエラーが起きています.
trainerを使わずに書くと
for batch in train_iter:
con = chainer.dataset.concat_examples(batch) # dataset[0], dataset[1], ...を一つのarrayに入れる
con = chainer.Variable(con) # arrayをchainer.Variableに入れる
pred = model(con) #推測する
loss = F.mean_absolute_error(pred, con) # 推測と正解データ(AEの場合入力そのもの)と比較する
model....
1
マルチポスト先で回答をいただきました。
よって、自己解決とさせていただきます。
回答内容:
Keras や Tensorflow で実装した segnet があるため、そちらの方を使用する。
( https://qiita.com/uni-3/items/a62daa5a03a02f5fa46d )
1
バッチ学習 :全てのサンプルデータを用いて学習する
オンライン学習:サンプルデータのうち1つだけ(ランダムに)選んで学習する
ミニバッチ学習:ミニバッチサイズを10とすると
サンプルデータのうち10つ(ランダムに)選んで学習する
全サンプルデータが1000枚だとすると
バッチ学習:1回学習すれば1エポック
オンライン学習:1000回学習すれば1エポック
ミニバッチ学習:100回学習すれば1エポック
1
深層学習モデルはただ入力された数字のみを見て積和演算を行なっています。
白黒(1チャンネル)をRGB(3チャンネル)に拡張する際、どのチャンネルのどの位置ににどれだけの数値を配置すれば正解との乖離が少なくなるかを突き詰めていきます。ですので、第何層でどのような特徴量を抽出しているかはブラックボックスです。
1
バッチの場合、順伝播の計算時にbはもう一方の項np.dot(x,W)に合わせて、つまりはバッチサイズに合わせて自動的に拡大して足し合わされます。
これにより「+ノードの下位ノード」はbそのものではなく、bに対して演算を施したものになっています。
バイアス項は入力1、重みbのことですから、順伝播ではそれをかけ合わせていると考えれば逆伝播のdbの求め方はdWと同じ形になるはずです。ですから
self.db = np.sum(dY, axis=0)
はdWの計算 dW=np.dot(x.T, dY) と同じ形の
self.db = np.dot(1が並んだ長さがバッチサイズのベクトル, dY)
のことだと考ればいいのではないですか。
なお諸兄諸姉のご参考に、該当のソースコードは https://...
1
「cuda インストール済」
RuntimeError: CUDA environment is not correctly set up
(see https://github.com/chainer/chainer#installation).No module named 'cupy'
[直訳]
CUDA環境が正しくセットアップされていません。
https://github.com/chainer/chainer#installation を参照のこと。
'cupy'モジュールがありません。
残念ながらcupyがちゃんとインストールされていないようなので、下記URLの説明に従ってCUDAのセットアップとcupyのインストールをされては如何でしょうか。
https://github....
1
今回出ているメッセージは2つとも警告 (Warning) であり、エラーではありません。また、どちらの警告も TFlearn を動かすために使われている関数が将来のバージョンアップによって使えなくなる (deprecated である) ことを言っているだけであり、今すぐに影響があるとまでは言っていません。更新頻度が高いパッケージを使う際、依存しているパッケージたちのバージョンが頻繁に上がることで API が変わり、このような警告が出ることはよくあることです。
したがって、これらの警告は無視できます。何かしら他のエラーが出ない限り現在のまま使い続けることができます。
ただし将来的にはエラーに繋がるため、警告をずっと放っておくのはあまり行儀がよくありません。どうしても警告を消したければ、以下の方法が思いつきます。...
1
結論としてOpencv 3.4.0でもdarknetのmakeが実行できました。
様々なことを試していたためどれが本当に効いたのかわかりませんが、私が行ったことを記載しておきます。
darknetのMakefileでまずOPENCV=1にして他を0にしてmakeする。
makeが実行できた後にmake cleanを行う。
最後にdarknetのMakefileでOPENCV=1, GPU=1にしてmakeすると実行できました。
1
https://github.com/tensorflow/models/blob/master/research/object_detection/utils/variables_helper.py#L133
ソース内で該当するコードがありました。基本的に学習済みモデルの層と新しく作るモデルの層で名前が一致するものを比較して、同じ形だったら重みを保持しておくという処理なので、クラス数を変えてclassification層の形が変わると重みが初期化されてしまうという仕様でした。
1
私もその本をたまたま持ってます。
次に、loss_W = lambda W: self.loss(x, t)は、Wに関係なく定数cを返す定数関数として確定します。
これが違いますね。loss_Wはselfつまりインスタンスオブジェクトのデータに依存して計算します。つまりselfの持つデータが変わればloss_Wの返す値も変わりうるのです。
そして、どこでselfの持つデータが変わっているのかというと、それはnumerical_gradientの中です。
grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
ここでself.params['W1']が引数xとして渡されています。self.params['W1']は、...
1
train_dataのみで学習と精度の上昇具合を繰り返している状態ですと、
train_data内でのデータに関してはもしかしたら100%の精度を保てるかもしれませんが、
実際にはtrain_data以外のデータでも学習されたモデルで精度が確保される状態にする必要があります。
ここで質問者様がおっしゃられている「バリデーションを行うべき」とは
「学習に使用したデータ以外でaccuracyを見てみるべき」という意味かと認識しました。
そちらに関してはすでに下記のコードでtrain_dataとは別のデータを使い精度を出していることである意味実現できていますし
# コストと精度を出力
train_loss, train_acc = sess.run([loss, ...
1
下記にてログにも出していただいていますが
(176, 4, 4, 512) #print(train_data.shape)の値
入力の数(bottleneck_features_train.npyから読み込まれたtrain_data)が176なのに対し、ラベルの数(train_labels)が180個を期待しているようです。
入力の数とラベルの数をあわせるようにお願いします。
1
X_train.shape[1:]とdepthを削って渡しているようですが、depthも渡す必要があるのではないでしょうか。
https://keras.io/ja/layers/convolutional/#conv3d
このレイヤーをモデルの第一層に使うときはキーワード引数input_shape (整数のタプル,サンプル軸を含まない)を指定してください. 例えば10フレームの128x128 RGB画像ではinput_shape=(3, 10, 128, 128).
※そもそも論で3dではなく2dだと思いますが
1
xrange()は Python2.x 系のメソッドです。Python3.x 系では range() を使います。
実行しているpythonのパスを見る限り、今回動かしているものは Python3.5 のように見えます。
同じ環境に Python2.x 系と Python3.x 系が同時に入っている場合は、どちらが実行されるのか分かりやすくするためにコマンド名で区別したり(python2, python3)、エラーが起こったときはまずバージョンを疑ったり (python --version) などすると良いと思います。
また、エラーが起こったときはそのエラー名でググるのも良い戦略です。今回の場合、
NameError: name 'xrange' is not defined
でググると「...
1
まず、クラス分類問題であれば、購入した人と購入しなかった人のデータが必要です。
train_iter = iterators.SerialIterator(x_train, batch_size=100)
に渡すx_trainはchainer.datasets.tuple_dataset.TupleDatasetを使いましょう。
L.Classifierは入力と出力のペアをiteratorから受け取る必要があります。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります