[機械学習] タグが付いた質問

学習データから学習させ、新しい(未知の)データについての分類・推測などを行うための情報技術分野。についての質問。

絞り込み
並べ替え
タグ付けされた
0
1 回答
1,810 閲覧数

ニューラルネットワークにおける「パラメータ」とは何を指している?

プログラミングというより仕組みの質問です。 機械学習における十の法則、つまり「ネットワークにおけるパラメータの数の10倍の学習データを用意しろ」という文における「パラメータ」がよくわかりません。 入力層のことでしょうか? 中間層の組み合わせの数のことでしょうか? それ以外の自分が知らないようなことでしょうか? 答えとその少し詳しい説明をいただけると幸いです
-1
1 回答
221 閲覧数

機械学習の学習過程をグラフ化したい

現在機械学習のプログラムを作成しております。 その際に過学習をしているかの判定のために、epochごとのtrainとvalidationの関係をグラフ化したいのですが、お恥ずかしいことにプログラムの書き方がわかりません。 基本的なグラフ化のサイトには目は通しましたが、自身のプログラムへ適応させたものへの変更、また環境の都合上一度ファイルとして出力する必要がある都合上、...
0
0 回答
63 閲覧数

Unityで機械学習をしたい

Unityでモデルにボールを蹴らせて枠内に入れば報酬を与えてそれを重ねることでより良いシュートフォームを作るというのをやってみたくて試みています。 体全体は難しいのでまずは右足の腰から下の太もも、膝、すね、足首、足で作ってみようと思っているのですがここで質問です。...
1
0 回答
97 閲覧数

NN学習において、Valid Loss < Train Loss は悪ですか?

NN初心者です。 ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。 これは問題でしょうか? Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。 目的はvalid ...
0
0 回答
113 閲覧数

proteinbertからEmbeddingを取得する方法について

タンパク質言語モデルであるproteinberthttps://github.com/nadavbra/protein_bert を用いて入力したアミノ酸配列のEmbeddingを取得する方法が知りたいです。 fine-tuningを行わずに取得したEmbeddingを学習に用いたいです。 詳しい方、よろしければご教授ください。
0
1 回答
1,532 閲覧数

TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない

pytorchで学習したモデルの推論を行いたいです。 モデルは、入力は2つ、出力は1つです。 そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。 どうすればうまく動かせるのですか? x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3) x_2 = [0.8 for i in range(len(x_1))] ...
0
1 回答
86 閲覧数

時系列分析のstatsmodels でエラー TypeError: arma_generate_sample() got an unexpected keyword argument 'sigma'

時系列データ分析のstatsmodelsに関する質問です。 以下のコードを実行したところ、エラーが出てしまいました。 sigma引数が使用できるようなstatsmodelsのバージョンを教えていただけないでしょうか。 使用しているPythonのバージョンは3.10.11、statsmodelsのバージョンは0.13.5になります。 よろしくお願いいたします。 エラーメッセージ: TypeError ...
0
0 回答
69 閲覧数

モデルの正解率が96%にもかかわらず、各特徴量のジニ係数の結果があまりにもばらつきがないため過学習もしくはチューニング手法を間違っていると考えましたがどこでミスが起きているのかわからず助言をいただきたいです

import pandas as pd from sklearn.model_selection import cross_val_score, train_test_split from sklearn.metrics import accuracy_score, confusion_matrix from sklearn.tree import DecisionTreeClassifier ...
0
0 回答
34 閲覧数

load_iris dataの様にdataとtargetを設定したいが交差検証を回したいができないどのようにやればよいのでしょうか?

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns pd.read_csv('BioAsseT pt data.csv') df = pd.read_csv("BioAsseT pt data.csv") data = df.values ...
1
1 回答
138 閲覧数

手書き数字のMNISTデータから1と2のデータだけを学習させたい。

手書き数字の画像データセットはデフォルトでは1から10まであります。 その中から1と2だけを取り出し、1と2の分類だけを行えるようにしたいです。 次のような手順で進めました。 ・1と2の画像データ、画像ラベルを取り出す ・取り出した画像データをリストに置き換え、画像データと画像ラベルをそれぞれ一つにまとめてからnumpy配列に戻す ・適当な学習モデルを作り、出力を(2)にして学習を実行する ...
0
1 回答
50 閲覧数

SciPyを使ったCSRNetのコードを実行するとgaussian_filterでエラーが出る

やりたいこと Crowd countingのモデル CSRNet用にBeijing BRTデータセットの人物頭部位置のアノテーションからdensity mapのアノテーションを作成したい。 エラー Traceback (most recent call last): File "/path/to/directory/make_dataset.py", line 67, in ...
1
0 回答
60 閲覧数

拡散確率モデル画像合成手法の数学記号を教えてください。

ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。 [論文]Denoising Diffusion Probabilistic Models https://qiita.com/ground0state/items/565de257807b12dba52a そのサイトのしょっぱなの次の式が説明できる方教えてください。 特に、いきなり出てくる x0:T や ...
0
0 回答
143 閲覧数

LightGBMにおけるLGBMRankerクラスpredictメソッドの返す値の意味について

LGBMRankerを使って機械学習アプリケーションを自作しています。 モデルを作るところまではできて、predictメソッドを使い 予測値に対して結果を確認したところ、30~80程度のオーダーの小数値が返ってきます。 現在はこの数値を大きい順に並び変えて、上位を評価しています。 この数値の意味について教えて頂けますでしょうか。 また、LGBMClassifierクラスであれば、...
0
1 回答
215 閲覧数

pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい

Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか? ご教授よろしくお願いします。 torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。 該当のソースコード import torch x = torch.randn(4, 3, 1) ...
0
0 回答
99 閲覧数

PyCaretで特徴量が変わることについて教えてください ValueError: Number of features of the model must match the input. Model n_features_ is 1025 and input n_features is 4104

PyCaretでsetupするときの前処理で、Original Dataのshape(281,4015)から、Transformed Train Set(196, 1046), Transformed Test Set(85, 1046)に変わる部分が分かりません このため以下のエラーが発生する原因になっています 背景として、添付のモノクロ顔画像の感情分類データ(120, 128,3) 46,...
0
1 回答
1,164 閲覧数

index 0 is out of bounds for axis 0 with size 0

映画のデータセットであるMovielensについて、KNN法を用いて解析をしていたところエラーが出てしまいました。エラーメッセージの意味がよくわからず、解説と解決策のご教授をお願いしたいです。このエラーが出ない映画タイトルもあります。 ソースコード def get_movie_recommendation(movie_name): n_movies_to_reccomend = 2 ...
0
2 回答
457 閲覧数

scikit-learn でエラー: ValueError: Expected 2D array, got 1D array instead:

sklearnでトレーニングテータとテストデータを分けて決定木アルゴリズムにフィットさせようとしたところエラーが起きました。 解決方法がわからないため、もしよかったら指摘よろしくお願いします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
0
0 回答
192 閲覧数

scikit-learn でエラー:'Series' object has no attribute 'reshape'

Pythonで X_train = X_train.reshape(1, -1) を実行したところエラーが起きてしまいまして。初心者で質問も多いですが、指摘よろしくお願いいたします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
0
1 回答
170 閲覧数

Expected input batch_size (67) to match target batch_size (16)のエラーを直したい

環境はcolabを使っています。 pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。 ...
0
1 回答
275 閲覧数

scikit-learn の train_test_split でエラー: ValueError: not enough values to unpack (expected 5, got 4)

Python初心者で機械学習を使用した疫学研究をしていますが進め方が合っているかどうかもわからないです。現在、ハイパーパラメータ調整で躓いています。もしよければアドバイス、指摘をお願いします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
0
1 回答
159 閲覧数

これは" 過学習" 現象なのでしょうか?

構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。 下記のような3つのoptimizerを同じ訓練ループの中で試しています 。 ## 一つ目 optimizer = AdaBound( model....
0
0 回答
73 閲覧数

深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?

深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう? (ローカル:自分のパソコンで計算する場合です)
0
2 回答
731 閲覧数

Windows 10 + AnacondaでCUDAを利用可能にするには?

Teratailで回答を得られなかったので、こちらに投稿しています。 BigSleepというAI画像生成のパッケージが動かしたいと思っています。 Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。 $ conda create -n painter $ conda ...
0
0 回答
309 閲覧数

darknet,Yolov7によるBBOXのデータをcsvで出力したい

前提 darknetでYolov7を用いて物体検出AIの作成を行っています。 使用している環境は以下のとおりです。 Ubuntu 22.0.4 LTS CUDA 11.07 cuDNN 8.5.0 GPU RTX 3600 Ti Python 3.10.6 AIの作成、検出はうまくいったのですが、検出結果にあるBBOXの座標を取得したく考えています。 お役に立つかわかりませんが、...
1
1 回答
2万 閲覧数

'numpy.ndarray' object has no attribute 'append'のエラーについて

現在、Python機械学習プログラミング 達人データサイエンティストによる理論と実装の本で勉強してまして、 コードを実装すると、下記のエラーが発生してしまいます。ネットで調べたところ、numpyでarrayを追加することで解決とのことですが、どのようなコードを追加すればよいのか分かりません。 コードの追加及び他の方法で解決することについて、ご教示よろしくお願いいたします。 weights, ...
1
0 回答
73 閲覧数

CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生

Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。 しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。 mlmodelの入力タイプは以下のように変更することができました。 # convert_inputType.py :convert multiArray to image type ...
0
0 回答
120 閲覧数

tfjs-modelsのpose-detectionでポーズ解析を行っているが、「TypeError: t is not a function」というエラーが出力

現在、tfjs-models/pose-detectionのライブラリを用いて、ポーズ解析のモジュールを追加実装しているところです。下記コードで処理を行っていますが、下記エラーが出力して処理ができない状況です。原因が分からず困っています... 実装コード(一部) import '@tensorflow/tfjs-core'; import '@tensorflow/tfjs-converter'; ...
0
1 回答
132 閲覧数

sagemaker環境にてデプロイに失敗する

前提 awsのsagemakerにて音響モデルを用いたTTSシステムを作っています。 実現したいこと sagemakerで音響モデルをデプロイしたいと考えています。 発生している問題・エラーメッセージ デプロイ時に下記のエラーが繰り返し発生します。 Please specify --force/-f option to overwrite the model archive output file....
0
0 回答
77 閲覧数

Pycaret, ROC曲線作成時のPlot_modelの時に、ROC_AUCが下がることについて

よろしくお願い申し上げます。 Pycaretを使用し、機械学習を行い、ROC曲線を記載すると、その前の図とAUCが大きく異なります。 何か問題があるのでしょうか? 何卒よろしくお願い申し上げます。 環境:Googlecolab
1
0 回答
84 閲覧数

aws sagemakerにて、学習済みの音響モデルをデプロイする方法について

●実現したいこと aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。 以下の、比較的近い事例を参考に構築をすすめています。 https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
-2
1 回答
377 閲覧数

mask AP とbox APはそれぞれどうやって計算するのでしょうか。

画像認識タスクの一つであるinstance segmentationにおいて、論文中にmask AP、box APという指標が登場しますがどうやって計算するのか定義が見つかりません(日本語、英語ともに)。 ご存知の方教えていただけますか。よろしくお願いします。
6
1 回答
2万 閲覧数

nvidia GPUのメモリを再起動せずに解放する方法が知りたい

PCを再起動させずにメモリを解放する方法が知りたいです。 コマンド等でメモリ解放できないでしょうか? 2つのGPUを使用しており、片方は動作中のままにしたいので、 再起動や、全てのプロセスを停止させたりはしたくないです。 以下は nvidia-smi コマンドを実行した画面です。 ●環境 OS:ubuntu14.04 GPU:GeForce GTX 1080 ※python(chainer)...
0
1 回答
652 閲覧数

pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。

以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。 解決法がわからないので教えてください。 実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。 ターミナルから実行するのでは、入力内容が多いため、...
1
2 回答
719 閲覧数

二値分類問題をディープラーニングで解く際にうまく学習されない

入力されたxとyの値から0か1かを分類できるようにニューラルネットワークを学習させようとしているのですが、何度回してもうまく学習できません。 どうすればよいのか教えていただけると幸いです。 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_grad(x): return (1....
0
1 回答
382 閲覧数

Google Colaboratoryを使ったkerasでmodel.saveができない

画像認識プログラミングレシピという本で画像認識を学習中です。 kerasでモデルを保存しようとするとエラーが出て保存できません。 以下のサイトが参考になるかなと思ったのですが、読んでもよく理解できませんでした。 Kerasでmodel.saveしようとしてmust override get_configエラーが出たときの対処 文字数の関係上モデルの一部を抜粋させていただきました。 ...
1
1 回答
294 閲覧数

Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード

Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。 5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。 そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか? どなたかご教授くださいますよう、お願いします。 K =...
0
1 回答
131 閲覧数

ElasticNetCVの引数n_alphasについて

scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
1
1 回答
121 閲覧数

scikit-learn(決定木回帰)のAPIについて

scikit-learn の決定木を使った回帰についての質問です。 同アルゴリズムでは、 予測の精度を表す.score と 特徴量の重要性を表す .features_importances_ が あるかと思いますが、 回帰においてはそれぞれどのように算出されているのでしょうか? 分類であれば、前者は正しく分類できた割合 後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・ ...
0
0 回答
1,017 閲覧数

Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。

pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。 Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。 model = Model model.load_state_dict(torch.load("185.pth")) model.load_state_dict(...
2
0 回答
58 閲覧数

ロジスティック回帰分析の考え方について

ロジスティック回帰分析の勉強をしているのですが、下記についてアドバイスいただけることがありましたらお願いできますと幸いです。 ↓ ↓ ロジスティック回帰分析の説明変数で、一般的に、発生(1)・非発生(0) に対して説明変数が線形的に変化する(例えば煙草をたくさん喫うほど肺がんが発生しやすい等)と思いますが、説明変数が発生(1)に対して非線形に変化する場合(例えば、年収と軽自動車購入・非購入など、...
6
1 回答
1,528 閲覧数

CNNにおいて奇数サイズのカーネルが推奨されるのはなぜですか

なぜCNNにおいて奇数サイズのカーネルが推奨されているかわかりません。 CNNにおいて、多くのページに「畳み込みのカーネルは3×3や7×7のような奇数サイズが好ましい」と書かれており、理由について「中心に画素が存在するため」などと書かれていますが、それ以上の説明がなく、納得できないままでいます。 入力画像サイズが(2n, 2n)の場合、奇数サイズのカーネルでストライドを2にして(n, n)...
0
1 回答
502 閲覧数

torch.autograd.gradが0またはNoneTypeになってしまう

以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます. torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です. なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます. ...
4
2 回答
1,613 閲覧数

訓練データとテストデータの評価の差

ある数値を予測するコンペの問題をPythonでやってます。 与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。 https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook 上記を参考にして、取り出したデータをもとにLASSO ...
0
0 回答
275 閲覧数

GooglecolabでCycleGANを実行したのに1エポックの実行時間が長すぎます

以下のサイトに従ってGooglecolabでPytorchのCycleGANを実行したのですが1エポックに約30分も時間がかかってしまいます。このサイトでは1エポックに6分くらいかかると書いてありました。 CycleGAN で画像変換する。 ほかのサイトでも1エポックに6分当たりかかると書かれており私の実行時間よりとても短いです。なぜ私が実行すると30分もかかってしまうのかが分からず困っております。...
3
0 回答
96 閲覧数

初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい

プログラミング初心者で使用言語はPythonです。 やりたいことは以下の通りです。 ランダムに障害物が配置されてる仮想水路を設定 色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい) 結果を畳み込みニューラルネットワークで学習 学習結果から次のようなことをしたい 任意の場所に障害物を配置し、...
1
1 回答
349 閲覧数

AIを使用すれば「部品の分類」を実現できるかどうか

AIについて分かっておらず、以下のようなことを、AIを使用すれば実現できるかお聞きしたいです。 行いたいこと 様々な部品に対して、キーワードを登録しており、一定数のサンプルデータ(教師データ?)から新しい部品に対するキーワードを自動作成する。 例えば、Webサイトで、様々な部品(部品名や型式やメーカ名も含む)を登録します。また、それらのデータをDBに蓄積させます。 その後、...
1
1 回答
554 閲覧数

時系列データのパターンマッチングについて

時系列データのパターンマッチングについて ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、 どの時期にどの程度含まれているか、相関関係を求めたいのですが、 どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?) ◇想定しているデータ (a)時系列データ 時系列データは、音声データ、株価データなどを想定しています。 インデックスはpd....
3
0 回答
140 閲覧数

入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない

入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。 読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。 入れ子構造の交差検証のコードが間違っているのでしょうか? それとも、...
2
1 回答
805 閲覧数

Jupyter NotebookでWord Cloudを作成したいのですが、画質が粗いです。

Jupyter NotebookでWord Cloudを作成したいのですが、添付画像のように画質が粗いです。 画質をよくする方法を教えて下さい。コードはPythonで書いています。 コードは以下です。 import pandas as pd from janome.tokenizer import Tokenizer import matplotlib.pyplot as plt from ...
2
0 回答
195 閲覧数

行列を数学的な関数と見做した時の行列積計算に相当する関数に一般的な呼称はありますか?

個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。 入力をバッチ次元xデータ次元yなf(x,y) 重みをデータ次元yニューロン次元zなg(y,z) としたとき、行列積に相当する計算は、おそらく ∫f(x,y)*g(y,z)dy (でy=0〜nの定積分) ...