[機械学習] タグが付いた質問
193
質問
0
票
0
回答
29
閲覧数
load_iris dataの様にdataとtargetを設定したいが交差検証を回したいができないどのようにやればよいのでしょうか?
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
pd.read_csv('BioAsseT pt data.csv')
df = pd.read_csv("BioAsseT pt data.csv")
data = df.values
...
1
票
1
回答
84
閲覧数
手書き数字のMNISTデータから1と2のデータだけを学習させたい。
手書き数字の画像データセットはデフォルトでは1から10まであります。
その中から1と2だけを取り出し、1と2の分類だけを行えるようにしたいです。
次のような手順で進めました。
・1と2の画像データ、画像ラベルを取り出す
・取り出した画像データをリストに置き換え、画像データと画像ラベルをそれぞれ一つにまとめてからnumpy配列に戻す
・適当な学習モデルを作り、出力を(2)にして学習を実行する
...
0
票
1
回答
39
閲覧数
SciPyを使ったCSRNetのコードを実行するとgaussian_filterでエラーが出る
やりたいこと
Crowd countingのモデル CSRNet用にBeijing BRTデータセットの人物頭部位置のアノテーションからdensity mapのアノテーションを作成したい。
エラー
Traceback (most recent call last):
File "/path/to/directory/make_dataset.py", line 67, in ...
1
票
0
回答
53
閲覧数
拡散確率モデル画像合成手法の数学記号を教えてください。
ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。
[論文]Denoising Diffusion Probabilistic Models
https://qiita.com/ground0state/items/565de257807b12dba52a
そのサイトのしょっぱなの次の式が説明できる方教えてください。
特に、いきなり出てくる x0:T や ...
0
票
0
回答
79
閲覧数
LightGBMにおけるLGBMRankerクラスpredictメソッドの返す値の意味について
LGBMRankerを使って機械学習アプリケーションを自作しています。
モデルを作るところまではできて、predictメソッドを使い
予測値に対して結果を確認したところ、30~80程度のオーダーの小数値が返ってきます。
現在はこの数値を大きい順に並び変えて、上位を評価しています。
この数値の意味について教えて頂けますでしょうか。
また、LGBMClassifierクラスであれば、...
0
票
0
回答
46
閲覧数
PyCaretで特徴量が変わることについて教えてください ValueError: Number of features of the model must match the input. Model n_features_ is 1025 and input n_features is 4104
PyCaretでsetupするときの前処理で、Original Dataのshape(281,4015)から、Transformed Train Set(196, 1046), Transformed Test Set(85, 1046)に変わる部分が分かりません
このため以下のエラーが発生する原因になっています
背景として、添付のモノクロ顔画像の感情分類データ(120, 128,3) 46,...
0
票
1
回答
132
閲覧数
pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい
Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか?
ご教授よろしくお願いします。
torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。
該当のソースコード
import torch
x = torch.randn(4, 3, 1)
...
0
票
0
回答
117
閲覧数
scikit-learn でエラー:'Series' object has no attribute 'reshape'
Pythonで X_train = X_train.reshape(1, -1) を実行したところエラーが起きてしまいまして。初心者で質問も多いですが、指摘よろしくお願いいたします。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import csv
...
0
票
1
回答
533
閲覧数
index 0 is out of bounds for axis 0 with size 0
映画のデータセットであるMovielensについて、KNN法を用いて解析をしていたところエラーが出てしまいました。エラーメッセージの意味がよくわからず、解説と解決策のご教授をお願いしたいです。このエラーが出ない映画タイトルもあります。
ソースコード
def get_movie_recommendation(movie_name):
n_movies_to_reccomend = 2
...
0
票
2
回答
211
閲覧数
scikit-learn でエラー: ValueError: Expected 2D array, got 1D array instead:
sklearnでトレーニングテータとテストデータを分けて決定木アルゴリズムにフィットさせようとしたところエラーが起きました。
解決方法がわからないため、もしよかったら指摘よろしくお願いします。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import csv
...
0
票
1
回答
145
閲覧数
scikit-learn の train_test_split でエラー: ValueError: not enough values to unpack (expected 5, got 4)
Python初心者で機械学習を使用した疫学研究をしていますが進め方が合っているかどうかもわからないです。現在、ハイパーパラメータ調整で躓いています。もしよければアドバイス、指摘をお願いします。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import csv
...
0
票
1
回答
129
閲覧数
これは" 過学習" 現象なのでしょうか?
構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。
下記のような3つのoptimizerを同じ訓練ループの中で試しています 。
## 一つ目
optimizer = AdaBound( model....
0
票
0
回答
64
閲覧数
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
(ローカル:自分のパソコンで計算する場合です)
0
票
0
回答
206
閲覧数
darknet,Yolov7によるBBOXのデータをcsvで出力したい
前提
darknetでYolov7を用いて物体検出AIの作成を行っています。
使用している環境は以下のとおりです。
Ubuntu 22.0.4 LTS
CUDA 11.07
cuDNN 8.5.0
GPU RTX 3600 Ti
Python 3.10.6
AIの作成、検出はうまくいったのですが、検出結果にあるBBOXの座標を取得したく考えています。
お役に立つかわかりませんが、...
0
票
0
回答
20
閲覧数
tensorFlow recommendersを使用した時の推薦アイテム数を増やす方法を教えてください。
以下のプログラムはtensorFlow recommenderのホームページにあるチュートリアルのコードそのままです。このプログラムの最後の行を変更することで、推薦するアイテムの数を10個までは表示できるのですが、それ以上の個数を表示することができません。10個以上のアイテムを推薦できる方法を教えていただけるとありがたいです。
import tensorflow_datasets as tfds
...
1
票
0
回答
54
閲覧数
CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生
Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。
しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。
mlmodelの入力タイプは以下のように変更することができました。
# convert_inputType.py :convert multiArray to image type
...
0
票
0
回答
93
閲覧数
tfjs-modelsのpose-detectionでポーズ解析を行っているが、「TypeError: t is not a function」というエラーが出力
現在、tfjs-models/pose-detectionのライブラリを用いて、ポーズ解析のモジュールを追加実装しているところです。下記コードで処理を行っていますが、下記エラーが出力して処理ができない状況です。原因が分からず困っています...
実装コード(一部)
import '@tensorflow/tfjs-core';
import '@tensorflow/tfjs-converter';
...
0
票
0
回答
79
閲覧数
ディープラーニングでの検証データの使いみち
機械学習・深層学習を勉強していると、データを「訓練データ」「検証データ」「テストデータ」に分けることが大事だというのを見かけます。
それぞれ「訓練データ」は学習を行うデータ、「検証データ」はSVMのカーネル関数の定数などのハイパーパラメータを決めるためのデータ、「テストデータ」が学習後のモデルを評価するためのデータ、という役割を持ちますが、ディープラーニングの実装(PyTorch)...
0
票
0
回答
82
閲覧数
PytorchとPythonの数の扱いの違いについて
こんにちは,
研究で深層学習をやっているものです.早速なのですが,PytorchとPythonは数を異なった扱いで処理しているのでしょうか?(例えばfloat32, double64など)
というのも,例えば非常に簡単なニューラルネット(ボールの重さmと発射角度theta,速度vを与えると落ちる位置を予測する)をPythonの自作のコードで定義した時と,...
0
票
1
回答
91
閲覧数
sagemaker環境にてデプロイに失敗する
前提
awsのsagemakerにて音響モデルを用いたTTSシステムを作っています。
実現したいこと
sagemakerで音響モデルをデプロイしたいと考えています。
発生している問題・エラーメッセージ
デプロイ時に下記のエラーが繰り返し発生します。
Please specify --force/-f option to overwrite the model archive output file....
0
票
0
回答
64
閲覧数
Pycaret, ROC曲線作成時のPlot_modelの時に、ROC_AUCが下がることについて
よろしくお願い申し上げます。
Pycaretを使用し、機械学習を行い、ROC曲線を記載すると、その前の図とAUCが大きく異なります。
何か問題があるのでしょうか?
何卒よろしくお願い申し上げます。
環境:Googlecolab
0
票
1
回答
134
閲覧数
Expected input batch_size (67) to match target batch_size (16)のエラーを直したい
環境はcolabを使っています。
pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。
...
0
票
0
回答
65
閲覧数
random stateを変更した際の各r2スコアの出力方法
機械学習でrandom stateを変更してr2スコアを確認しようと思っております。
具体的にはrandom stateを0~100まで変更して各r2スコアを確認したいと思っております。
現在for文を使用してrandom stateに0~100の値を入力することはできているようなのですが、
各r2スコアの出力方法がわかっておりません。
y = dataset.iloc[:, 0]
x = ...
1
票
0
回答
57
閲覧数
aws sagemakerにて、学習済みの音響モデルをデプロイする方法について
●実現したいこと
aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。
以下の、比較的近い事例を参考に構築をすすめています。
https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
-2
票
1
回答
235
閲覧数
mask AP とbox APはそれぞれどうやって計算するのでしょうか。
画像認識タスクの一つであるinstance segmentationにおいて、論文中にmask AP、box APという指標が登場しますがどうやって計算するのか定義が見つかりません(日本語、英語ともに)。
ご存知の方教えていただけますか。よろしくお願いします。
0
票
0
回答
214
閲覧数
Pytorchで自作モデルを使うと動作が非常に遅くなる気がします。理由がわかる方はいらっしゃいますでしょうか。
初めまして。
現在pytorchを使って機械学習を行っているのですが、自作モデルを使った際に非常に速度が遅くなるのが気になっています。具体的な事例として、peephole connectionを付け足したLSTMを動かしてみたのですが、通常のpytorch.nn.LSTMが1エポック14秒で学習できるのに対し、自作した方だと10分もかかりました。
...
1
票
2
回答
562
閲覧数
二値分類問題をディープラーニングで解く際にうまく学習されない
入力されたxとyの値から0か1かを分類できるようにニューラルネットワークを学習させようとしているのですが、何度回してもうまく学習できません。
どうすればよいのか教えていただけると幸いです。
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def sigmoid_grad(x):
return (1....
0
票
1
回答
115
閲覧数
ElasticNetCVの引数n_alphasについて
scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
0
票
1
回答
1,218
閲覧数
TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない
pytorchで学習したモデルの推論を行いたいです。
モデルは、入力は2つ、出力は1つです。
そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。
どうすればうまく動かせるのですか?
x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3)
x_2 = [0.8 for i in range(len(x_1))]
...
0
票
0
回答
917
閲覧数
Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。
pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。
Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。
model = Model
model.load_state_dict(torch.load("185.pth"))
model.load_state_dict(...
2
票
0
回答
57
閲覧数
ロジスティック回帰分析の考え方について
ロジスティック回帰分析の勉強をしているのですが、下記についてアドバイスいただけることがありましたらお願いできますと幸いです。
↓ ↓
ロジスティック回帰分析の説明変数で、一般的に、発生(1)・非発生(0) に対して説明変数が線形的に変化する(例えば煙草をたくさん喫うほど肺がんが発生しやすい等)と思いますが、説明変数が発生(1)に対して非線形に変化する場合(例えば、年収と軽自動車購入・非購入など、...
5
票
1
回答
1,114
閲覧数
CNNにおいて奇数サイズのカーネルが推奨されるのはなぜですか
なぜCNNにおいて奇数サイズのカーネルが推奨されているかわかりません。
CNNにおいて、多くのページに「畳み込みのカーネルは3×3や7×7のような奇数サイズが好ましい」と書かれており、理由について「中心に画素が存在するため」などと書かれていますが、それ以上の説明がなく、納得できないままでいます。 入力画像サイズが(2n, 2n)の場合、奇数サイズのカーネルでストライドを2にして(n, n)...
0
票
2
回答
628
閲覧数
Windows 10 + AnacondaでCUDAを利用可能にするには?
Teratailで回答を得られなかったので、こちらに投稿しています。
BigSleepというAI画像生成のパッケージが動かしたいと思っています。
Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。
$ conda create -n painter
$ conda ...
0
票
1
回答
379
閲覧数
torch.autograd.gradが0またはNoneTypeになってしまう
以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます.
torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です.
なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます.
...
0
票
0
回答
218
閲覧数
GooglecolabでCycleGANを実行したのに1エポックの実行時間が長すぎます
以下のサイトに従ってGooglecolabでPytorchのCycleGANを実行したのですが1エポックに約30分も時間がかかってしまいます。このサイトでは1エポックに6分くらいかかると書いてありました。
CycleGAN で画像変換する。
ほかのサイトでも1エポックに6分当たりかかると書かれており私の実行時間よりとても短いです。なぜ私が実行すると30分もかかってしまうのかが分からず困っております。...
2
票
0
回答
90
閲覧数
初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい
プログラミング初心者で使用言語はPythonです。
やりたいことは以下の通りです。
ランダムに障害物が配置されてる仮想水路を設定
色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい)
結果を畳み込みニューラルネットワークで学習
学習結果から次のようなことをしたい
任意の場所に障害物を配置し、...
1
票
1
回答
333
閲覧数
AIを使用すれば「部品の分類」を実現できるかどうか
AIについて分かっておらず、以下のようなことを、AIを使用すれば実現できるかお聞きしたいです。
行いたいこと
様々な部品に対して、キーワードを登録しており、一定数のサンプルデータ(教師データ?)から新しい部品に対するキーワードを自動作成する。
例えば、Webサイトで、様々な部品(部品名や型式やメーカ名も含む)を登録します。また、それらのデータをDBに蓄積させます。
その後、...
1
票
1
回答
480
閲覧数
時系列データのパターンマッチングについて
時系列データのパターンマッチングについて
ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、
どの時期にどの程度含まれているか、相関関係を求めたいのですが、
どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?)
◇想定しているデータ
(a)時系列データ
時系列データは、音声データ、株価データなどを想定しています。
インデックスはpd....
2
票
0
回答
133
閲覧数
入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない
入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。
読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。
入れ子構造の交差検証のコードが間違っているのでしょうか?
それとも、...
2
票
1
回答
694
閲覧数
Jupyter NotebookでWord Cloudを作成したいのですが、画質が粗いです。
Jupyter NotebookでWord Cloudを作成したいのですが、添付画像のように画質が粗いです。
画質をよくする方法を教えて下さい。コードはPythonで書いています。
コードは以下です。
import pandas as pd
from janome.tokenizer import Tokenizer
import matplotlib.pyplot as plt
from ...
1
票
1
回答
238
閲覧数
Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード
Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。
5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。
そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか?
どなたかご教授くださいますよう、お願いします。
K =...
0
票
1
回答
301
閲覧数
Google Colaboratoryを使ったkerasでmodel.saveができない
画像認識プログラミングレシピという本で画像認識を学習中です。
kerasでモデルを保存しようとするとエラーが出て保存できません。
以下のサイトが参考になるかなと思ったのですが、読んでもよく理解できませんでした。
Kerasでmodel.saveしようとしてmust override get_configエラーが出たときの対処
文字数の関係上モデルの一部を抜粋させていただきました。
...
2
票
0
回答
194
閲覧数
行列を数学的な関数と見做した時の行列積計算に相当する関数に一般的な呼称はありますか?
個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。
入力をバッチ次元xデータ次元yなf(x,y)
重みをデータ次元yニューロン次元zなg(y,z)
としたとき、行列積に相当する計算は、おそらく
∫f(x,y)*g(y,z)dy (でy=0〜nの定積分)
...
1
票
2
回答
497
閲覧数
なぜ重みの初期値にnp.random.randnを用いるのか?
質問1
「ゼロから作るディープラーニング」を勉強していて、182pのところを読んでいたら、そもそもなんで、重みWの初期値を今までnp.random.randnというものにしていたのかがわからなくなりました。なのでなぜnp.random.randnを重みの初期値にするのかを教えていただきたいです。
質問2
np.random.randnは「平均0、分散1(標準偏差1)の正規分布(標準正規分布)...
0
票
1
回答
205
閲覧数
機械学習でsin波を学習させた際のずれについて
機械学習初心者です。
sin波を機械学習で予想させようと思い、下記サイトを参考にプログラムを組んでみました。
https://www.ai-lab.app/169/
発展として、周期を連続的に予測させようと思いました。
方法としては次の値を予想させるために前5個分のデータを読み込ませて予想している感じです。そのようにプログラムしているつもりです。
まずは2周期目だけ予想させようと思ったのですが、...
0
票
1
回答
176
閲覧数
深層学習のモデルを使ったアプリケーションの作成方法
デスクトップアプリケーションとして配布を考えています。
その際、画像や音声を入力にディープラーニングのモデルを利用する予定です。
pyinstaller のようなPython コードを実行ファイルへ変換するのではなく
C++やC# などの言語ですべての処理をローカルのGPU(AMD,Nvidia)上で実行するソフトウェアの開発を行う予定です。
Tensorflow ...
0
票
1
回答
683
閲覧数
transformersからTFGPT2LMHeadModelをインポートできない (cannot import name 'TFGPT2LMHeadModel' from 'transformers')
Huggingface Transformers 入門 (6) - テキスト生成
こちらの記事を真似てコードを動かしていますが、最初の
import tensorflow as tf
from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
で以下のエラーが出ます
-------------------------------------...
0
票
0
回答
71
閲覧数
Face++APIの処理をフォルダ内の画像すべてに行えるようにしたい
Face++のdetectAPIを使ってフォルダ内の画像すべてに処理を行い、その結果を1つのcsvファイルに保存するプログラムを完成させたいです。
公式ドキュメントでは画像一枚だけに処理を行うコードが書かれているのですがそれを改変して書こうとしています。
機械学習用の画像データセットを作ろうと思い、
①画像をスクレイピングにて一括取得。
②取得した画像をカスケードファイルにて顔部分だけにリサイズ
...
0
票
1
回答
439
閲覧数
PyTorchでのloss関数自作時に出力ベクトル以外の変数も使いたい
PyTorchで機械学習を行っているのですが、loss関数を自作したいと思っています。
今のところ学習用のデータx_train, x_test, y_train, y_testは作成方法として
(1) DNNへの入力データ
Data_A(サイズ[10000,200])→処理1(不可逆変換)→Data_X(サイズ[10000,200])
(2) DNNからの出力データ
Data_A(サイズ[...
0
票
1
回答
205
閲覧数
機械学習の可視化のグラフの見方
ちらほら見かける機械学習の結果を可視化したグラフで横軸エポック数,縦軸MSE?になっているものをよく見かけます.
この二つの線の意味としてはトレーニングデータをトレーニングデータで学習したものでテストした場合のMSEと,テストデータをトレーニングデータで学習したものでテストした場合のMSEという見方であっていますか?