[深層学習] タグが付いた質問
99
件の質問
0
票
0
回答
33
閲覧数
模倣学習Behavior Cloningで平均損失が最小平均損失を更新すればポリシーを保存できるようにしたい
質問
現在、ビヘイビアークローンを用いてモデルを訓練しています。lossを取得し、100回(仮)のイテレーションでのlossの移動平均が最小値に達した際にポリシーを保存したいと考えています。しかし、訓練中にどのようにlossを取得するかがわかりません。
どなたかご存じでしたらご教授願いませんでしょうか?
よろしくお願いいたします。
以下に、私の現在のセットアップの概要を示します。
環境
...
0
票
1
回答
54
閲覧数
ビデオデータでフレームごとにバウンディングボックスを作成し、そこバウンディングボックス内の物体を分類することは可能ですか?
研究でビデオデータを用いて、物体の検出および分類を一貫して行いたいと考えています。ビデオに写っている物体を検出しそれを各フレームごとにバウンディングボックスを使用して、それをCNNやLSTMを組み合わせて、分類することは可能ですか?
1
票
1
回答
83
閲覧数
Tensorflowの設定で活性化関数にsigmoid等を指定して学習させた後、実際に使うと入力の値によらず出力が同じ値になる
下記のようなコードでサンプルデータの学習、およびランダムなデータで動作確認しています。
入力は変数7つで、いずれも出力値とある程度の相関があることは分かっていて、特にある程度のラインから大きくなっても出力値が頭打ちになることが分かっているので、活性化関数にsigmoidやtanhを指定した方がいいのではと思い、指定してみました。
すると、学習中に表示されるLossの値が途中から改善されず、...
0
票
0
回答
89
閲覧数
Self-Attentionのヒートマップが上手く出力されない
実現したいこととして、Self-Attentionから得られた重みであるAttention Weightの可視化結果を正しく出力したい。
入力は動画データをI3Dに適用した特徴マップの0次元目にバッチサイズ30を設定したもの(30, 64, 1024)で、1次元目はフレーム数、2次元目は次元の大きさです。
正常映像と異常映像を同時入力するため、フレーム数の次元はtorch.catで結合しています。
...
0
票
0
回答
298
閲覧数
C++版OpenCVのblobFromImageで出力した画像をネットワークに入力すると例外が発生する
概要
学習済みのyolov8ネットワークにblobFromImageで作成した画像を入力すると、例外が発生してしまい結果を取得できません。
正しく推論結果を得るにはどうすればよいでしょうか?
背景
pythonで学習したyolov8モデルをC++で使用するため、公式リポジトリにあるサンプルコードを一部修正してビルドしました。
ビルドには成功しましたが、...
0
票
0
回答
84
閲覧数
Vit(Vision Transformer)の位置埋め込みについて
最近ViTの勉強を始めたのですが、Input Layerにおける位置埋め込みおいて
「各パッチとクラストークンに加算を行う事で、ViTにパッチの位置情報を伝えることが出来る」と説明されたのですが。なぜ加算をするだけで位置情報をViTに伝える事が出来るのでしょうか、
...
0
票
1
回答
108
閲覧数
LLMや深層学習実装時に利用する Azure VM のスペックをどう見積もればよいか
LLM(Large Language Model)や深層学習を利用可能な環境をAzure VM上で構築したいのですが、一般的にどれくらいのスペックが必要でしょうか。以下の候補からご回答いただけますと幸いです。
※もちろんしたいことやコストによって最適なインスタンスが決まると思うのですが、検討するための情報としてどのインスタンスでVMを構築することが多いのか知りたいです。
0
票
1
回答
88
閲覧数
Jupyter Lab でDQNで迷路探索のプログラムを実行しましたが、エラーが出てしまった。
Jupyter Labで下記のコードを実装したのですが、コードの下に添付してあるエラーが出てしまい、正常に実行することが出来ません。
Python3を使用していて、chainerのバージョンは4.0.0、chainerrlのバージョンは0.3.0を使用しています。
よろしくお願いいたします。
エラー:
Traceback (most recent call last):
File ~\...
1
票
1
回答
280
閲覧数
手書き数字のMNISTデータから1と2のデータだけを学習させたい。
手書き数字の画像データセットはデフォルトでは1から10まであります。
その中から1と2だけを取り出し、1と2の分類だけを行えるようにしたいです。
次のような手順で進めました。
・1と2の画像データ、画像ラベルを取り出す
・取り出した画像データをリストに置き換え、画像データと画像ラベルをそれぞれ一つにまとめてからnumpy配列に戻す
・適当な学習モデルを作り、出力を(2)にして学習を実行する
...
0
票
0
回答
343
閲覧数
OSC送信を行いたいです。
python-oscを用いて、Muse2という脳波計で計測した脳波を、スマホからOSC通信を用いて、PCヘ送りcsvで記録したいです。
今詰まっているのは、OSCメッセージを送るところです。
以下のコードを見てください。
最後にMarkerを送信して、recoringを制御しています。
しかし一向にcsvファイルへの書き込みが進みません。
これはmarkerが送られていないためだと思っています。
...
1
票
0
回答
106
閲覧数
ResNet50の転移学習にて、想定した形状のTensorが出力できない
pretrain済みのResNet50の構造を変更して利用したいのですが、
変更後のモデルから、想定していたような形状の出力が得られません。
次のコードで、
モデルの構造を変更し,torchinfoで確認すると
def Custom_ResNet50():
model=torchvision.models.resnet50(pretrained=True)
model....
0
票
0
回答
351
閲覧数
NNを訓練する時のbatch出力にNaNが混じっている場合の対処法?(Torch or Tensorflow,Keras)
NN(Neural Network)を訓練する時に、
batch出力にNaNが混じっている場合があると気づきましたが、
optimizerのstep実行に例外が発生していません。
しかし、NaNの存在が訓練過程を不安定させたり、訓練速度や精度をダウンさせたりする事は容易に想像できますので、どう対処すれば良いのでしょうか。
0
票
1
回答
195
閲覧数
これは" 過学習" 現象なのでしょうか?
構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。
下記のような3つのoptimizerを同じ訓練ループの中で試しています 。
## 一つ目
optimizer = AdaBound( model....
0
票
0
回答
95
閲覧数
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
(ローカル:自分のパソコンで計算する場合です)
1
票
1
回答
220
閲覧数
PyTorchでの損失関数と最適化アルゴリズムの結びつけについて
DLの学習時には、モデルを使って予測を出す→損失関数で損失を計算→損失関数を最適化アルゴリズムに(逆伝播&パラメータ更新)という流れだと思うのですが、これをPyTorchを行う時、「この最適化アルゴリズムでこの損失関数を最適化するよ」という情報の結びつけは自動的に行われるのでしょうか?
具体的には、以下にあるように
# 正しいコード
# 交差エントロピー誤差関数
loss_fnc = nn....
0
票
1
回答
211
閲覧数
Expected input batch_size (67) to match target batch_size (16)のエラーを直したい
環境はcolabを使っています。
pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。
...
0
票
0
回答
99
閲覧数
画像分類の評価方法について
Deep Learningを用いた画像分類の評価方法について質問です。
例えば、10000枚のデータセットがあり、この内1000枚を学習に使用したモデル(モデル1)と5000枚を使用したモデル(モデル2)があり、テストデータに対するモデル1のAccuracyが80%、モデル2のAccuracyが90%だったとします。使用する画像はランダムに選択するものとします。
この時、...
0
票
1
回答
638
閲覧数
scipy.optimize.curve_fitのような、任意のグラフで回帰できるアルゴリズムをjavascriptで作成したい(それに準するライブラリをお教えしてほしい。 or シグモイド関数にのみ特化した回帰のためのアルゴリズムを教えてほしい。) )
scipy.optimize.curve_fitのような、任意のグラフで回帰できるアルゴリズムをjavascriptで作成したいです。自分が見つけたライブラリが以下のURLになります。
https://www.npmjs.com/package/regression
ですがこれは、単純な線形回帰や対数回帰など、特定のグラフの回帰しかできません。
私が回帰させたい基準となるグラフ(...
0
票
0
回答
541
閲覧数
ValueError: Expected input batch_size (256) to match target batch_size (16).のエラー
DeepLearningのコード(WideResNet)を実装しようと思い、自作のデータセットによる学習を試みているのですが、損失の計算時にエラーが出ます。
実装をメインとしており、自作データで学習をすることが目標で、アルゴリズムそのものの理解ができておらず、至らぬ点がありますが、ご教示ください。よろしくお願いいたします。
コメントアウトなどを削除したため、...
0
票
1
回答
72
閲覧数
多変量時系列データにおいてモデルに入力するデータをどのように選べばいいかという論文はありますか
例えば、100個の多変量時系列データがあって、一つの時系列データを予測したいとします。
このような場合に、100個のデータから本当に予測に必要なデータを選ぶ方法はどのようなものがあるでしょうか。
さらに、もしもこの100個のデータがそれぞれ数値でなく、画像やテキストである場合、どのような手法が考えられるでしょうか。
以上のことに関係する論文があったら教えていただきたいです。...
0
票
1
回答
271
閲覧数
簡単なニューラルネットワークにおいて誤差が突然0になって学習が止まる現象について~ Numpyの数値の型との因果関係~
初めまして.私は今,「ゼロから始めるdeep learning 1巻」を学んでいます.そこでGoogle Colbにて早速自分でコードを作ってみたのですが,runを押すと全く同じデータでもうまく類推できるときと,(誤差関数が突然0になるせいで)学習が止まる時があります.そして色々動かしているうちに,Numpyの中で数値演算の時に何かしら異常があると思い至りました.以下,ソースコードを添付します....
1
票
2
回答
918
閲覧数
二値分類問題をディープラーニングで解く際にうまく学習されない
入力されたxとyの値から0か1かを分類できるようにニューラルネットワークを学習させようとしているのですが、何度回してもうまく学習できません。
どうすればよいのか教えていただけると幸いです。
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def sigmoid_grad(x):
return (1....
0
票
1
回答
4,515
閲覧数
commonモジュールをimportしたい
「ゼロから作るディープラーニング」という本を読んで勉強しています。
読み進めていくとcommonというモジュールをインポートすることになるのですが、ここで以下のエラーが発生します。
ModuleNotFoundError: No module named 'common'
commonモジュールというものをインストールしようとしたのですがそもそもこれ自体一般公開されているものではないらしく、...
6
票
1
回答
2,051
閲覧数
CNNにおいて奇数サイズのカーネルが推奨されるのはなぜですか
なぜCNNにおいて奇数サイズのカーネルが推奨されているかわかりません。
CNNにおいて、多くのページに「畳み込みのカーネルは3×3や7×7のような奇数サイズが好ましい」と書かれており、理由について「中心に画素が存在するため」などと書かれていますが、それ以上の説明がなく、納得できないままでいます。 入力画像サイズが(2n, 2n)の場合、奇数サイズのカーネルでストライドを2にして(n, n)...
0
票
1
回答
651
閲覧数
torch.autograd.gradが0またはNoneTypeになってしまう
以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます.
torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です.
なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます.
...
0
票
0
回答
2,057
閲覧数
torchinfo.summaryでのエラーおよび、引数のエラー
pytorchにおいてtorchsummaryでモデルの構造をファインチューニングするため、可視化するため、以下を実行しました。
print(summary(model, input_size=([(10,1684,40),(10)])))
forward関数は2入力となっているので、引数を2つ入力しています。モデルのforward関数における引数の次元数はそれぞれ3次元と1次元です。しかし、...
0
票
1
回答
2,891
閲覧数
Keras の validation_split は交差検証でしょうか?
Pythonを独学で勉強しているものです。
Kerasのコードで、
model.fit(x_train, y_train, verbose=1, validation_split=0.2, shuffle=True, epochs=20000)
とした時、80%のデータが学習用に使用され、20%のデータがバリデーションに使用される、...
0
票
1
回答
199
閲覧数
深層学習のモデルを使ったアプリケーションの作成方法
デスクトップアプリケーションとして配布を考えています。
その際、画像や音声を入力にディープラーニングのモデルを利用する予定です。
pyinstaller のようなPython コードを実行ファイルへ変換するのではなく
C++やC# などの言語ですべての処理をローカルのGPU(AMD,Nvidia)上で実行するソフトウェアの開発を行う予定です。
Tensorflow ...
1
票
0
回答
145
閲覧数
tiny-dnnで学習,生成したjson形式のネットワークファイルをUnityで使いたい
tiny-dnn(C++)で学習、生成したjson形式のネットワークファイルがあるのですが、これをUnity(C#)で使いたいです。
どのような方法があるでしょうか?
なるべく無償の範囲でできると嬉しいです。
tiny-dnnのネットワークファイルをそのまま使えるのが理想ですが、
必要ならばなにがしかの変換をかけてUnityで使えるようにするなども選択肢としてありです。
0
票
1
回答
1,957
閲覧数
kerasで2入力1出力のCNN設計をしたい
2枚の画像を入力して1つの出力を得る(分類される)CNNの設計を行っています。
具体的には,VGG16の特徴抽出層(重みは初期化しないでImagenetで学習済みのものを使用)を用いて2枚の画像から特徴を抽出し,それを全結合層で推論するネットワークです。
python3.6.4,keras2.3.1を使用しています。
ソースコードは以下の通りです。
from keras.models import ...
0
票
1
回答
2,257
閲覧数
ニューラルネットワークにおける「パラメータ」とは何を指している?
プログラミングというより仕組みの質問です。
機械学習における十の法則、つまり「ネットワークにおけるパラメータの数の10倍の学習データを用意しろ」という文における「パラメータ」がよくわかりません。
入力層のことでしょうか?
中間層の組み合わせの数のことでしょうか?
それ以外の自分が知らないようなことでしょうか?
答えとその少し詳しい説明をいただけると幸いです
2
票
0
回答
210
閲覧数
TensorFlow学習モデルをブラウザ用に変換する際にエラーになる
ブラウザ上で動作する、多言語向けのニューラル機械翻訳を実装したいと思っています。
一般的な実装方法であればGoogleAPIにキーワードを渡して翻訳結果を受け取るものと思いますが、
事情により通信を介しての翻訳ができません。
そこで、下記手段により実現できないかどうかを考えております。
外部で学習したモデルをTensorflow.js用の形式に変換
Tensorflow....
1
票
1
回答
612
閲覧数
PytorchでSeq2seqを設計したが、同じ単語ばかり出力される
PytorchでSeq2seqを使って文章の校正を行おうとしたのですが、
Decoderから同じ単語しか出力されません。
main.pyです。
これを実行すると訓練などもろもろを実行します。
#main.py
import copy
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch....
1
票
0
回答
58
閲覧数
RNNで文章生成モデルを作る際にたびたび発生する問題について
RNNで文章生成を行うと毎回出力文章の末尾の文字が連続してしまいます。
どのようなモデルを用いた場合でも発生します。
例:明日は晴れるといいなななななななななな
のような感じです。
この問題に遭遇した経験がある方、
もしくはこの問題の解決法を知っている方がいらしたら回答いただきたいです。
0
票
2
回答
672
閲覧数
GPUで半精度(Half Precision)で計算できる NVIDIA Volta GPUs は NVIDIA Tesla V100 だけですか?
深層学習で計算速度を上げるために半精度(Half Precision)での計算を行いたいです.
この論文の 4.1 によると, NVIDIA Volta GPUs というのが半精度での計算ができるようなのですが,具体的にどの種類のGPUが可能なのでしょうか.調べたところ, NVIDIA Tesla V100 がそれにあたるようなのですが,例えば GeForce GTX TITAN X や ...
1
票
0
回答
1,729
閲覧数
PytorchでのTransformerの実装に関して
こんにちは
TransformerをPytorchを利用して実装しようとしているのですが、
おもったような結果になりません。
以下が、訓練のコード、モデル定義のコード、データローダと出力結果のファイルです。
訓練のコード
Train.py
from transformer import EncoderDecoder, Encoder, LayerNorm, EncoderLayer, ...
1
票
1
回答
87
閲覧数
Dockerを使った機械学習のトレーニング精度を良くしたい
Dockerを使って3種類の花の判別プログラム(.py)を作成しています。
プログラムを実行して8回のトレーニングを行いましたが、なぜかトレーニングうまくできませんでした。
これが学習の結果です。
lossもaccも一定の数値のままででした。
試しに、Dockerを使わずにそのままPythonプログラムを実行してみました。
トレーニングがうまく機能しました。
つまり、...
1
票
1
回答
452
閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
0
票
1
回答
1,046
閲覧数
pythonでのfor文の高速化(numpyファイル処理)
pythonにて機械学習用に
「『行列をnumpy形式で保存したファイル(のペア)』を読み出し、行をランダムに入れ替えて、numpy形式で保存する。これを複数ファイル分行う」という処理をしています。
『行列をnumpy形式で保存したファイル(のペア)』の行列サイズは2000万×33と2000万×1で、ファイル数は10です。
こちらの処理を高速化したいのですが、以下コードの中で、...
0
票
0
回答
462
閲覧数
tensorflow datasetsを用いたデータセットのタプルでのロード
tfds.load()を用いて,food101をロードしたいのですが,その際にタプル指定しても,dictで返されてしまい困っています.
具体的には,以下のコードでロードしています.
import tensorflow_datasets as tfds
dataset, info = tfds.load('food101', as_supervised = True, with_info = ...
0
票
1
回答
787
閲覧数
KerasでVGG16の転移学習をするときにValueErrorが発生する
質問
Kerasに実装されているVGG16を転移学習して画像の2クラス分類をしようと考えております。
参考サイトのコードを一部修正して実行すると、下記エラーが発生して学習できません。
ValueError: Error when checking target: expected sequential_1 to have shape (2,) but got array with shape (...
0
票
0
回答
175
閲覧数
one pic error!
以下のサンプルスクリプトを実行しようとしていますが、トレーニング中の画像を出力するタイミングで、「one pic error!...」と表示され、画像が出力されません。
https://github.com/carpedm20/DCGAN-tensorflow
サンプルスクリプトではErrorが発生した関係で、以下2行の変更を加えているので
...
0
票
0
回答
366
閲覧数
ゼロから作るDeepLearning 5章のニューラルネットワークを2層から3層に書き換えると層のモデルが読み込めなくなります
オライリーのゼロから作るDeepLearningという本で現在機械学習の勉強をしております.
この本の5.7.4「逆誤差伝播法を使った学習」にて2層のニューラルネットワークの実装が掲載されており,ソースコードが載っていたのでjupyter notebookにて実装を行いました.以下,ソースコードを示します.
# coding: utf-8
import sys, os
sys.path....
0
票
2
回答
235
閲覧数
ゼロから作るDeep Learning
「ゼロから作るDeep Learning」でP.104の勾配を求める関数 numerical_gradient に関してです。
def f2(x):
return x[0]**2 + x[1]**2
def numerical_gradient(f, x):
h = 1e-4
grad = np.zeros_like(x)
for idx in range(...
0
票
1
回答
1,678
閲覧数
TypeError: data type not understood
以下のサンプルスクリプトを実行しようとしていますが、
https://github.com/carpedm20/DCGAN-tensorflow
以下コード部分でErrorが発生し実行できません。
(utils.py)
im = Image.fromarray(x[j:j+crop_h, i:i+crop_w])
return np.array(im.resize([resize_h, ...
0
票
0
回答
75
閲覧数
ビッグバンドの音源データセットが欲しいです
機械学習を行っている者です。
データセットにビッグバンドのパラ音源が欲しいのですが、普通のwav音源のようなデータセットが見つかりません…。
「Big Band music dataset」などで探しているのですが他に見つけるいい方法があるのでしょうか…?
0
票
1
回答
236
閲覧数
PyTorchで行列計算
PyTorchを使って、深層学習をしています。
forward計算内でnumpyのnp.tileやnp.reshapeなどを使っているのですが、Tensor型をnumpyのndarray型に変換してしまうと、requires_gradの情報が失われ、学習ができません。
Tensor型のままtileのような処理を実行する方法はありますでしょうか。
もしくは、...
4
票
2
回答
1,911
閲覧数
訓練データとテストデータの評価の差
ある数値を予測するコンペの問題をPythonでやってます。
与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。
https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook
上記を参考にして、取り出したデータをもとにLASSO ...
0
票
1
回答
191
閲覧数
ディープラーニングにおいて、層を深くしても学習が進むようにする方法
現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。
しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。
このような場合に有効な学習を進める方法として何が考えられるのでしょうか?
...
0
票
1
回答
786
閲覧数
ディープラーニングで出力される予想が常に一定の値
ディープラーニングはかなり駆け出しです。
機械学習については基礎の基礎を勉強した程度の無知です。
ディープラーニングで時系列の予想を行いたいのですが何をしても出力結果がほぼ一定の値になってしまします。
層の数を大きく変えても、活性化関数を見直して試行錯誤しても
学習後のモデルに何を渡してもほぼ一定の値を返すようになってしまいます。
...