[pytorch] タグが付いた質問
PyTorchに関する質問にこのタグを使用します。 PyTorchは、Pythonで実装されたオープンソースの機械学習ライブラリーです。Luaで実装されたTorchをベースに、Facebookの人工知能研究グループにより開発されました。
71
質問
4
票
2
回答
1,344
閲覧数
訓練データとテストデータの評価の差
ある数値を予測するコンペの問題をPythonでやってます。
与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。
https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook
上記を参考にして、取り出したデータをもとにLASSO ...
3
票
1
回答
4,980
閲覧数
pytorchの関数gatherの処理内容について
pytorchの関数gatherの処理内容が公式ドキュメントを読んでもよく分かりません。
例えばExampleのtが、どのような計算をした結果、出力のようなテンソルになるのか、
具体的に教えていただけないでしょうか。
Example:
>>> t = torch.tensor([[1,2],[3,4]])
>>> torch.gather(...
2
票
1
回答
3,123
閲覧数
torchvisionのimage.pydが見つからない
初めまして。ネット上で調べましたが、解決策が無くて困っています
pytorchを使いたいと思い、torchとtorchvisionをインストールしたのですが、torchvisionをインポートすると
下記Warningが発生します。
import torch
import torch.nn as nn
import torch.nn.functional as f
from torch.utils....
2
票
0
回答
120
閲覧数
複数GPU搭載のサーバ上での他のGPU上でプログラムが実行されると、CPU実行になってしまう。
4枚のGPUを積んだサーバ上で、全GPU空いている状態で私のプログラムを実行するとGPU上で実行できるのですが、GPU ID: 1〜3が使用されている状態で、GPU ID: 0で実行しようとしても、GPUが使用されず CPUでの実行になってしまいます。また、逆に私がGPU ID: 0で実行中に、GPU ID: 1〜3で実行されると、私のプログラムだけCPU実行になってしまいます。...
2
票
0
回答
589
閲覧数
RuntimeError: Dimension out of range (expected to be in range of [-1, 0], but got 1)と出力されます。
https://github.com/pytry3g/pytorch-example/tree/master/nlp/rnn/wikipedia
上記githubのtest_model.pyとtrain.pyを実行すると、共に、
以下のエラーが出てしまいます。
Traceback (most recent call last):
File "/home/yudai/デスクトップ/...
1
票
2
回答
1,122
閲覧数
pytorchでdeep learningの画像分類モデルを作成しています。
モデルのloss関数の一部にtorch.sqrt()をしようしたところ、backward時にnanが発生する問題に突き当たりました。
torch.sqrt()に入力されるベクトルの要素の大きさがとても小さいことが原因のようです。
torch.sqrt()のinputが小さいとbackward時に1/(2*torch.sqrt())がinfになるようです...
...
1
票
1
回答
139
閲覧数
PyTorchでの損失関数と最適化アルゴリズムの結びつけについて
DLの学習時には、モデルを使って予測を出す→損失関数で損失を計算→損失関数を最適化アルゴリズムに(逆伝播&パラメータ更新)という流れだと思うのですが、これをPyTorchを行う時、「この最適化アルゴリズムでこの損失関数を最適化するよ」という情報の結びつけは自動的に行われるのでしょうか?
具体的には、以下にあるように
# 正しいコード
# 交差エントロピー誤差関数
loss_fnc = nn....
1
票
1
回答
866
閲覧数
Pytorch での予測ラベル出力時にエラー Attribute Error : Example has no attribute Label
僕は今自然言語処理の勉強をしていて、本を参考にしながらコードを書いていました。
最後の予測が本のデータだとテストデータにもラベルがついているため以下のコードで正答率が出力されますが、自分が使用しているデータはテストデータにはTEXTしかないのでこのコードのままだとエラーが出てしまいます。
いろいろコードを改変してみたりしましたがうまく動きませんでした。...
1
票
1
回答
543
閲覧数
PytorchでSeq2seqを設計したが、同じ単語ばかり出力される
PytorchでSeq2seqを使って文章の校正を行おうとしたのですが、
Decoderから同じ単語しか出力されません。
main.pyです。
これを実行すると訓練などもろもろを実行します。
#main.py
import copy
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch....
1
票
1
回答
2,044
閲覧数
Pytorch が import できない
Macを使用しています。
Anaconda-NavigatorにてJuypter NotebookをLaunchし、ターミナルが起動し、Juypter Notebookのページが立ち上がるので、そこで新しいノートブックを作って、そこで作業している状況です。仮想環境は構築していません。
Pytorchを使いたく、インストールしたのですが、importができません。
...
1
票
1
回答
2,060
閲覧数
PyTorchでCUDAが使えない
PyTorchでCUDAを使って計算しようとしたところ、下記エラーが吐かれてしまいました。
RuntimeError: Expected object of backend CPU but got backend CUDA for argument #4 'mat1'
このエラーの対処方法をご教授していただけないでしょうか。
コードは下記の通りで、...
1
票
0
回答
52
閲覧数
拡散確率モデル画像合成手法の数学記号を教えてください。
ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。
[論文]Denoising Diffusion Probabilistic Models
https://qiita.com/ground0state/items/565de257807b12dba52a
そのサイトのしょっぱなの次の式が説明できる方教えてください。
特に、いきなり出てくる x0:T や ...
1
票
0
回答
92
閲覧数
PyTorchを使った物体検出の転移学習が動作しない
概要
PyTorchのサンプルコードを参考にした転移学習コードでtrain_one_epochが動作しません
どのようにすれば学習が進みますでしょうか?
以下追記
vscode上でスクリプトを実行すると、実行中を示すアイコンが出るだけで、学習の進捗やエラーメッセージは表示されません
一方で、処理確認のために挿入したprintメッセージが、下記に添付したengine.pyの抜粋中の"...
1
票
0
回答
50
閲覧数
ResNet50の転移学習にて、想定した形状のTensorが出力できない
pretrain済みのResNet50の構造を変更して利用したいのですが、
変更後のモデルから、想定していたような形状の出力が得られません。
次のコードで、
モデルの構造を変更し,torchinfoで確認すると
def Custom_ResNet50():
model=torchvision.models.resnet50(pretrained=True)
model....
1
票
0
回答
119
閲覧数
pythonの継承で使われるsuper(Conv1d, self)が分かりません。
pytorchのコードを見ていたところ、
class Conv1d(_ConvNd):
def __init__(
self,
in_channels: int,
out_channels: int,
kernel_size: _size_1_t,
stride: _size_1_t = 1,
...
1
票
1
回答
169
閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
1
票
0
回答
1,602
閲覧数
PytorchでのTransformerの実装に関して
こんにちは
TransformerをPytorchを利用して実装しようとしているのですが、
おもったような結果になりません。
以下が、訓練のコード、モデル定義のコード、データローダと出力結果のファイルです。
訓練のコード
Train.py
from transformer import EncoderDecoder, Encoder, LayerNorm, EncoderLayer, ...
0
票
2
回答
1,308
閲覧数
tensor配列の要素のある場所を取得したいです.
tensor型の配列のインデックスを取得したいのですが,うまくいかず,教えて頂きたいです.以下のような形になっており,最大要素1がある場所だけを抽出したいです.
tensor([[1., 0., 0., 0., 0., 0.], →この場合は0を
[1., 0., 0., 0., 0., 0.],
[1., 0., 0., 0., 0., 0.],
...,
[0....
0
票
1
回答
1,041
閲覧数
pytorchのインプレース操作のRunTimeErrorに関する解決策の質問です
以下のコードでエラーが起きてしまいます.もしよろしければ,ご教授のほどよろしくお願いいたします.
質問し慣れていないので,至らないところもあるかもしれませんが,何卒よろしくお願いいたします.
該当コード(torch.autograd.set_detect_anomaly(True)によって表示された箇所)
class UnNormfunc(nn.Module):
def ...
0
票
1
回答
127
閲覧数
pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい
Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか?
ご教授よろしくお願いします。
torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。
該当のソースコード
import torch
x = torch.randn(4, 3, 1)
...
0
票
1
回答
372
閲覧数
torch.autograd.gradが0またはNoneTypeになってしまう
以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます.
torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です.
なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます.
...
0
票
1
回答
2,246
閲覧数
Expected input batch_size (1) to match target batch_size (6).のエラーを直したいです.
機械学習のコードを実装しており,LogisticRegression(nn.Module)をモデルにしています.
損失lossの計算時に配列のサイズのミスマッチに関するエラーがでます.xはshape=[1,64],yはshape=[1,6]です.
エラーに該当するfor文内はxはshape=[64],yはshape=[6]です.どなたか,このエラーの直し方をご教示下さい.よろしくお願い致します.
'...
0
票
1
回答
2,469
閲覧数
index 1 is out of bounds for dimension 0 with size 1 を直したい
ニューラルネットを作成していますが,損失関数とSGDの更新のプログラムでエラーがでます.出力yは0~5の6つのラベルがあり,それぞれ[1,0,0,0,0,0](ラベル0)のようなone-hot表現となっています.torch.Size([19573, 6])となっていることは確認済みです.
下記エラーの直し方をどなたかご教示の程,よろしくお願い致します.
エラーメッセージ
grads['dl/df']...
0
票
1
回答
3,731
閲覧数
unexpected EOF while parsing のエラーを直したい
現在,[bindnet][1] というライブラリーを用いてRecurrent Spiking Neural netを作成しており,トレーニングデータ(npzファイル)をload(xとyの値)してシミュレーションを行いたいのですが,enumerate関数で取り出そうとすると,"unexpected EOF while parsing" というエラーが表示されます....
0
票
1
回答
85
閲覧数
torchにおけるサイズ[N,1]と[1,N]の掛け合わせ方
torch形式のベクトルA(サイズ[N,1])とB=A'(サイズ[1,N])を掛け合わせてサイズ[N,N]の行列を算出したいと考えています。
しかしtorch.matmulやtorch.mmではエラーが出てきてしまうか、A'A(サイズ[1,1])が出てきてしまいます。
A = [a_1, a_2, ..., a_N]'とすれば算出したい行列Cの(i,j)成分は
for i in range(N):
...
0
票
1
回答
2,630
閲覧数
windows環境でcondaにpytorchが入りません
anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。
anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます
(nn) C:\Users\USER>conda install pytorch torchvision -c pytorch
Collecting package ...
0
票
1
回答
2,783
閲覧数
PyTorchのBidirectional LSTMにcudnnを導入するとRuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILEDを出す
実行環境
OS:windows10
python:3.7.4
numpy:1.16.5
pytorch:1.3.1
gpu:GeForce GTX 1060
Nvidia driver:441.87
Cuda:10.1
Cudnn:7.6.5
実行コードに関しましては頂いたものなので詳しくは省かせて頂きますが、Bidirectional LSTMを実装しています。
エラーメッセージ
...
0
票
1
回答
1,628
閲覧数
PyTorch Tensor 使用時のエラー
PyTorch 1.1 : Getting Started : サンプルによる PyTorch の学習 – PyTorch
上記サイトのコードを参考に、質問に載せたコードを実行するとエラーが出てきて困っております。
実行環境
python3.7.6
pytorch1.3.1
numpy1.17.4
gpu:GeForce GTX 1660 Ti
Cuda:10.1
Cudnn:7.6.5
...
0
票
1
回答
5,755
閲覧数
Pytorch 0.2.1をバージョンダウンする方法
困っていること
下記の問題のgithubでget_dataset.py、data_util.py、train.pyを実行した結果、
RuntimeError: dimension specified as 0 but tensor has no dimensions
と出力されます。
get_dataset.py
では、
re.findall("<p>.*</p>",...
0
票
1
回答
1,165
閲覧数
複数の行列の掛け算を同時に行う
Python
numpyかpytorchで複数の行列の掛け算をforループを用いずに同時に行いたいです。
例えば10×100の異なる行列が5個と100×100の行列が一つあるとします。
import numpy as np
a = np.random.rand(5,10,100)
b = np.random.rand(100,100)
aが10×100の異なる5個の行列でbが100×...
0
票
0
回答
50
閲覧数
torchtext におけるapply_func.py: from torchtext.legacy.data import Batchのimportエラー
https://github.com/AntixK/PyTorch-VAE
の説明の通り
$ git clone https://github.com/AntixK/PyTorch-VAE
$ cd PyTorch-VAE
$ pip install -r requirements.txt
で、インストール。
$ cd PyTorch-VAE
$ python run.py -c configs/...
0
票
0
回答
39
閲覧数
optimizer.state_dict()で保存したオプティマイザのパラメータを使って学習の再開ができません
要旨:
学習を行う環境の制約上,学習の経過を一旦保存しそれらを読み込んで学習を再開するコードを書く必要があります.しかし,エラーが出てしまい学習が行えません.
エラー文:
Traceback (most recent call last):
File "c:/Users/.../Desktop/PINN_ACSL/NN.py", line 531, in <...
0
票
0
回答
113
閲覧数
Google ColaboratoryでWhisperとECAPA-TDNNを使ったWhisper speaker diarizationを導入したいがpyファイルの実行ができない
Pythonに関してはほぼ初学者です。
動画などの音声を文字起こしするアプリケーションWhisper speaker diarizationをGoogle Colaboratry上で導入したいのですが最後のpyファイルの実行だけが上手く行きません。その手前のコードまではうまく出来ています。
一番最後の行が正直なところ良く分かっていないのでご享受いただければ幸いです。
https://self-...
0
票
0
回答
66
閲覧数
PytorchのU-NetのDeeplearningで結果を出力するときに、同じモデルと同じ画像で違う結果が出力されてしまう
Google Colaboratory のPytorchで画像データのU-Net RCNNのDeepLearningを実施しています。
事前に作った学習モデルを読み込ませてテスト画像を処理しているのですが、
学習モデルからテストファイルの解析を行う際に、読み込ませるテスト画像の組み合わせで、個々の画像の判断結果が変わってしまいます。
例えば[A、B、C]...
0
票
1
回答
106
閲覧数
jsonで FileNotFoundError: この二つの差はなんですか?
片方は読み込めるのですが、もう片方は読み込めません。この二つの違いは何でしょうか?
コード2 は https://github.com/graykode/ALBERT-Pytorch のコードを試そうとしました。
コード1 はエラーが出た部分を切り出した。
コード1 動く
import json
json.load(open('config/pretrain.json'))
print(&...
0
票
0
回答
140
閲覧数
NNを訓練する時のbatch出力にNaNが混じっている場合の対処法?(Torch or Tensorflow,Keras)
NN(Neural Network)を訓練する時に、
batch出力にNaNが混じっている場合があると気づきましたが、
optimizerのstep実行に例外が発生していません。
しかし、NaNの存在が訓練過程を不安定させたり、訓練速度や精度をダウンさせたりする事は容易に想像できますので、どう対処すれば良いのでしょうか。
0
票
1
回答
192
閲覧数
Pytorchで学習が進みません(画像の多クラス分類)
Pytorchで画像の10クラス分類を行いたく、コード自体はエラーなく実行できるのですが、何エポック繰り返しても学習が進まず、LossもAccuracyも0.000のまま変わりません。
(実行すると、100エポック回った段階でも
EPOCH: 100, Train [Loss: 0.000, Accuracy: 0.000]
と出てしまう状況です。)
...
0
票
1
回答
78
閲覧数
loss.backward() -> Missing XLA configuration
pytorch を用いて作成したモデルから計算された損失を
伝搬する際に、以下のコードを実行すると
以下のエラーメッセージが表示されて困っています。
loss.backward()
順伝搬の計算は問題なく実行できます。
terminate called after throwing an instance of 'std::runtime_error'
what(): tensorflow/...
0
票
1
回答
102
閲覧数
PyTorchでのNLP_RNNにて、CPU GPU混在エラー
PyTorchのまだ初心者ですが、NLPのシンプルなRNN構築を目指しております。
CPUでは動くのですが、デバイスをGPUにするとCPU、GPUの混在エラーが解消できません。
hidden層あたりが原因と考えてるのですが、どうやっても解消できず。
どなたか助言をいただけますと助かります。
RNNクラス
class RNN(nn.Module):
def __init__(self, ...
0
票
0
回答
169
閲覧数
Ray tuneでのGPU の使い方を教えてほしいです。
Ray tune上でGPUを用いてハイパーパラメータ最適化を試みましたが、以下のようなエラーに頭を抱えています。
RuntimeError: No CUDA GPUs are available
(main pid=4099) *** SIGSEGV received at time=1664685800 on cpu 0 ***
(main pid=4099) PC: @ ...
0
票
0
回答
78
閲覧数
ディープラーニングでの検証データの使いみち
機械学習・深層学習を勉強していると、データを「訓練データ」「検証データ」「テストデータ」に分けることが大事だというのを見かけます。
それぞれ「訓練データ」は学習を行うデータ、「検証データ」はSVMのカーネル関数の定数などのハイパーパラメータを決めるためのデータ、「テストデータ」が学習後のモデルを評価するためのデータ、という役割を持ちますが、ディープラーニングの実装(PyTorch)...
0
票
0
回答
79
閲覧数
PytorchとPythonの数の扱いの違いについて
こんにちは,
研究で深層学習をやっているものです.早速なのですが,PytorchとPythonは数を異なった扱いで処理しているのでしょうか?(例えばfloat32, double64など)
というのも,例えば非常に簡単なニューラルネット(ボールの重さmと発射角度theta,速度vを与えると落ちる位置を予測する)をPythonの自作のコードで定義した時と,...
0
票
1
回答
643
閲覧数
Given groups=1, weight of size [], expected input[] to have channels, but got channels insteadの解決を手伝っていただけないでしょうか?
PytorchでAIモデルを構築中です。
畳み込み層を作成中に以下のエラーメッセージが発生しました。
RuntimeError Traceback (most recent call last)
<ipython-input-42-277e33b168b8> in <module>
767
...
0
票
1
回答
95
閲覧数
浮動小数点のbool判定について
pytorchのtorch.nn.Linearモジュールをnumpyで再現しようとしています。
結果は多少誤差がでたため、小数点を切捨ててboolの判定を出力してみました。
切り捨てた結果は同じ数字にもかかわらすFalse判定になってしまうのはなぜでしょうか?
私自身コンピュータサイエンスには詳しくないため、どなたかご教授お願いします。
import numpy as np
import ...
0
票
0
回答
207
閲覧数
Pytorchで自作モデルを使うと動作が非常に遅くなる気がします。理由がわかる方はいらっしゃいますでしょうか。
初めまして。
現在pytorchを使って機械学習を行っているのですが、自作モデルを使った際に非常に速度が遅くなるのが気になっています。具体的な事例として、peephole connectionを付け足したLSTMを動かしてみたのですが、通常のpytorch.nn.LSTMが1エポック14秒で学習できるのに対し、自作した方だと10分もかかりました。
...
0
票
0
回答
273
閲覧数
Pytorch でエラー TypeError: linear(): argument 'input' (position 1) must be Tensor, not int
このコードだとエラーが出てしまいます。どう改善すればいいですか?
エラーメッセージ:
TypeError: linear(): argument 'input' (position 1) must be Tensor, not int
ソースコード:
import torch
import torch.nn as nn
import torch.nn.functional as F
model =...
0
票
0
回答
281
閲覧数
ValueError: Expected input batch_size (256) to match target batch_size (16).のエラー
DeepLearningのコード(WideResNet)を実装しようと思い、自作のデータセットによる学習を試みているのですが、損失の計算時にエラーが出ます。
実装をメインとしており、自作データで学習をすることが目標で、アルゴリズムそのものの理解ができておらず、至らぬ点がありますが、ご教示ください。よろしくお願いいたします。
コメントアウトなどを削除したため、...
0
票
1
回答
177
閲覧数
jupyterLab でPILライブラリを使用した際に取り込んだ画像のインライン表示ができない。
マイナビ出版から出ている「PyTorch実践入門」を進めるにあたり下記の問題が発生しました。
本書の推奨環境はJupyterとなっている為、DockerHubから以下をpullしています。
% docker run --rm -d -v $PWD:/app -p 8888:8888 \pman0214/pytorch_jupyterlab:1.9.0
runコマンド引用サイト
M1 ...
0
票
1
回答
1,193
閲覧数
TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない
pytorchで学習したモデルの推論を行いたいです。
モデルは、入力は2つ、出力は1つです。
そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。
どうすればうまく動かせるのですか?
x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3)
x_2 = [0.8 for i in range(len(x_1))]
...
0
票
0
回答
908
閲覧数
Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。
pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。
Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。
model = Model
model.load_state_dict(torch.load("185.pth"))
model.load_state_dict(...