[機械学習] タグが付いた質問
194
件の質問
1
票
1
回答
1,573
閲覧数
sklearnでImportError: cannot import name cloneというエラーが出る
pythonでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。
どうすればよいのかご教授お願い致します。
Traceback (most recent call last):
File "random.py", line 4, in <module>
from sklearn.ensemble import ...
1
票
1
回答
1,682
閲覧数
chainerのConvolution2Dの引数
chainerのConvolution2Dの引数について質問です。
example/imagenet/nin.pyに定義されている
mlpconv1=L.MLPConvolution2D(
3, (96, 96, 96), 11, stride=4, wscale=w),
mlpconv2=L.MLPConvolution2D(
96, (256, 256, 256), 5, ...
1
票
0
回答
127
閲覧数
HuggingFaceからLLMモデルを取得して追加学習ようとしたときにエラー
Windows11 Pro + Python 3.11 + VSCodeの環境で、LLMモデルに追加学習をさせるプログラムを作成しようと試みているのですが、エラーが発生しています。
原因をご教示いただきたく、よろしくお願いいたします。
やりたいこと
HuggingFaceからLLMモデルを取得して、CSVファイルを追加学習させたい。
やったこと
VSCodeのターミナルから ...
1
票
0
回答
219
閲覧数
NN学習において、Valid Loss < Train Loss は悪ですか?
NN初心者です。
ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。
これは問題でしょうか?
Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。
目的はvalid ...
1
票
0
回答
74
閲覧数
拡散確率モデル画像合成手法の数学記号を教えてください。
ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。
[論文]Denoising Diffusion Probabilistic Models
https://qiita.com/ground0state/items/565de257807b12dba52a
そのサイトのしょっぱなの次の式が説明できる方教えてください。
特に、いきなり出てくる x0:T や ...
1
票
0
回答
101
閲覧数
CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生
Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。
しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。
mlmodelの入力タイプは以下のように変更することができました。
# convert_inputType.py :convert multiArray to image type
...
1
票
0
回答
94
閲覧数
aws sagemakerにて、学習済みの音響モデルをデプロイする方法について
●実現したいこと
aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。
以下の、比較的近い事例を参考に構築をすすめています。
https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
1
票
1
回答
340
閲覧数
Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード
Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。
5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。
そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか?
どなたかご教授くださいますよう、お願いします。
K =...
1
票
1
回答
264
閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
1
票
0
回答
365
閲覧数
tiny-yolov3の学習済みモデルをcoremlモデルに変換
前提・実現したいこと
tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。
iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
1
票
1
回答
87
閲覧数
Dockerを使った機械学習のトレーニング精度を良くしたい
Dockerを使って3種類の花の判別プログラム(.py)を作成しています。
プログラムを実行して8回のトレーニングを行いましたが、なぜかトレーニングうまくできませんでした。
これが学習の結果です。
lossもaccも一定の数値のままででした。
試しに、Dockerを使わずにそのままPythonプログラムを実行してみました。
トレーニングがうまく機能しました。
つまり、...
1
票
1
回答
452
閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
1
票
0
回答
41
閲覧数
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。
Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。
私の認識は以下の通りです。
文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
...
1
票
0
回答
190
閲覧数
学習曲線から見る過学習もしくは学習不足の判断について
表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。
サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。
お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
1
票
0
回答
316
閲覧数
RNNの誤差逆伝播法における勾配の足し合わせ処理について
現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、
そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。
該当するソースコードと不明点を下記に、記載させていただきます。
質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。
...
1
票
0
回答
44
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
254
閲覧数
chainerでvalidationが実装できません。
『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。
作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。
なお、python3.5.2、chainer6.4.0を使用しています。
以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。
変更前
...
1
票
0
回答
59
閲覧数
loop paddingとはなんですか
機械学習で動作認識を行いたいと考えています.
学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します.
このようなデータに対してloop paddingを用いることがあるらしいのですが,
loop paddingとはどのような手法でしょうか.
loop paddingに言及している例:
https://arxiv.org/abs/1904.02422
https://...
1
票
1
回答
199
閲覧数
機械学習を用いた各パラメータの重要度評価について
フリーソフト「Orange」を用いて機械学習を行っている大学生です.
現在,3つの入力値に対して6つの出力値が得られる問題について扱っています.
どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません.
まず,(i)各特徴量の重要度(寄与率?)...
1
票
0
回答
170
閲覧数
深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について
ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。
例えばあるCNNに対して以下の探索を行うとします。
・最適な層数
・フィルタの次元(枚数、解像度)
・入力画像の解像度
・活性化関数
・学習アルゴリズム
...
1
票
1
回答
122
閲覧数
scikit-learn(決定木回帰)のAPIについて
scikit-learn の決定木を使った回帰についての質問です。
同アルゴリズムでは、
予測の精度を表す.score と
特徴量の重要性を表す .features_importances_ が
あるかと思いますが、
回帰においてはそれぞれどのように算出されているのでしょうか?
分類であれば、前者は正しく分類できた割合
後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・
...
1
票
1
回答
344
閲覧数
交差検証(クロス・バリデーション)を適応して意味のあるアルゴリズムについて
モデル評価にクロスバリデーションをよく使うのですが、
決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。
そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、...
1
票
0
回答
263
閲覧数
VisualStudioでsvmlightを使いたいのですがエラーが発生してしまいます。
私はVisualStudio2015でsvmlightを使い、プログラムを書いています。
ここにあるソースを用いました。
https://github.com/DaHoC/trainHOG
しかしコンパイルしようとしてもsvmlight.hから以下のようなエラーが出てしまいます。
エラー (アクティブ) "WORD" があいまいです Get_Car_Information c:\...
1
票
0
回答
657
閲覧数
Chainerでアウトプットがベクトルのニューラルネットワークを訓練したい
Chainerでニューラルネットワークの勉強をしています。
今、3次元ベクトルtが教師データとして与えられています。
このtを用いて、ニューラルネットワークを訓練したいと思っています。
そこで、アウトプットが3次元ベクトルyのニューラルネットワークを作り、
教師ベクトルtとのユークリッド距離|t-y|を最小化するように訓練しようと思います。
このような場合Chainerでは、
...
1
票
0
回答
102
閲覧数
Theanoのscan関数のoutput_infoについて http://deeplearning.net/tutorial/rbm.html
http://deeplearning.net/tutorial/rbm.html
このページでRBMについて学んでいるのですが、get_cost_update関数の中で使われるscanのoutputs_infoがなぜ
outputs_info=[None, None, None, None, None, chain_start]
となっているのかわかりません。
...
1
票
1
回答
289
閲覧数
MLlibで予測値を「確率」で出す方法
以下のページを参考にMLlibを実装したところ、predict関数の返り値が1か-1で、スパムの確率が高いほど1に近くそうでなければ0に近い値が出るというようにはできないようなのですが、MLlibではこのような「確率」を返す関数というのは用意されてないのでしょうか。
なお、NaiveBayesをSVMWithSGDに変えてみてもやはり1か0で超平面からの距離のような連続的な値にはならないようです。
...
0
票
1
回答
352
閲覧数
機械学習の学習過程をグラフ化したい
現在機械学習のプログラムを作成しております。
その際に過学習をしているかの判定のために、epochごとのtrainとvalidationの関係をグラフ化したいのですが、お恥ずかしいことにプログラムの書き方がわかりません。
基本的なグラフ化のサイトには目は通しましたが、自身のプログラムへ適応させたものへの変更、また環境の都合上一度ファイルとして出力する必要がある都合上、...
0
票
1
回答
960
閲覧数
Kaggleで「エキスパート」Tierになれる基準は何ですか?
Kaggleとは
Kaggleのサイトへ行くと一番上に書かれていますが「The Home of Data Science & Machine Learning」(データサイエンスと機械学習の家)と題されている通り、世界中の機械学習・データサイエンスに携わっている約40万人の方が集まるコミニティーです。
https://www.kaggle.com/
エキスパートとは
...
0
票
1
回答
5,920
閲覧数
ImportError: cannot import name Randomというエラーが出る
sklearnでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。
まず簡単なものでやってみようと思い,ネットに出ているコードをそのまま使用しました。
どうしたらよいでしょうか。
コード
from sklearn.ensemble import RandomForestClassifier
trainingdata = [[1, 1], [2, 2], [-1, -1],...
0
票
1
回答
195
閲覧数
これは" 過学習" 現象なのでしょうか?
構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。
下記のような3つのoptimizerを同じ訓練ループの中で試しています 。
## 一つ目
optimizer = AdaBound( model....
0
票
1
回答
655
閲覧数
色空間と表色系の違いは?
私は機械学習に関する研究を行っています。
色を表す方法として「色空間」という用語を使っている論文と「表色系」という用語を使っている論文があると思います。どちらがより正しい用語なのでしょうか。
私は「色を数字に変換するシステム」を表しているので、「表色系」の方が正確だと考えています。
0
票
1
回答
1,437
閲覧数
pythonで変数が次のコードへ継承されません
autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。
しかしながら、
Using TensorFlow backend.
Traceback (most recent call last):
File "/home/yudai/Desktop/keras_test.py", line 19, in
model = ae(len(...
0
票
1
回答
1,680
閲覧数
Win + Python3.6で「pip install」を実行したときに「UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83」と表示される。
実行環境:
Python3, PyCharm
ライブラリ関係が必要とのことで、Anacondaを入れ直しました。
結月ゆかりに機械学習で声質変換するスクリプトのReadme.mdに従って、音響特徴量の切り出しをしようとコードを実行するも、PyCharmが立ち上がってしまいます。別なコードを実行してみても、PyCharmが立ち上がってしまいます。
ふと気づいたので、...
0
票
1
回答
294
閲覧数
地名と人名を関連させたデータベースを作りたい
乃木坂や豊田市、羽柴秀吉町などの人名と地名を関連させたデータベースを作ってみたいのですが、日本郵政から住所のexcel file、人名は歴史上の人名のデータベースから引っ張ってこようと思うのですが。その後どれだけの人数がいるのかを調べたいのですがどうしたら良いでしょうか?機械学習はkaggleでtitanicの問題は一応解いたことがある程度です。ここまでの内容でも、...
0
票
1
回答
301
閲覧数
Deep MNIST for Expertsを参考しながら、オリジナルの色のついた画像を六個のクラスに分類できるようにするには
下記のコードはオリジナルの画像データセットをTensorFlowのチュートリアルDeep MNIST for Expertsを参考しながら、色のついた画像を六個のクラスに分類できるようにしたかったもですが
ValueError: Cannot feed value of shape (50, 784) for Tensor 'Placeholder_15:0', which has shape ...
0
票
1
回答
562
閲覧数
深層学習: 過学習について
現在、CNNのモデル3層レイヤ程度の小規模なもの(しかし各層でもつフィルタ数は多い)に対し、データ数(500枚程度)で学習させた結果認識率が100%(エラー0%)という結果になりました。データ数や、それに対するネットワークの複雑性から過学習が引き起こされました。これについて調べ、検証データを使用し学習と検証の曲線を調べればわかるということでした。
質問は、
・...
0
票
1
回答
1,816
閲覧数
Rの{e1071}パッケージの関数 tune.svm() を利用して、C-SVM(ソフトマージンSVM)のパラメータ C をグリッドサーチでチューニングする際のグリッドサーチ結果の作図について
{e1071}パッケージのtune.svm()を利用して、C-SVM(ソフトマージンSVM)の C 値のチューニングをグリッドサーチにかけて見つけようとしているのですが、グリッドサーチ結果の図がうまく作成出来ません。
tune.svm()を利用してのグリッドサージ結果の作図をご教示して頂けると助かりますm(__)m
<170305追記>
尚、作成したいグラフは以下のような種類のグラフです
...
0
票
1
回答
74
閲覧数
SciPyを使ったCSRNetのコードを実行するとgaussian_filterでエラーが出る
やりたいこと
Crowd countingのモデル CSRNet用にBeijing BRTデータセットの人物頭部位置のアノテーションからdensity mapのアノテーションを作成したい。
エラー
Traceback (most recent call last):
File "/path/to/directory/make_dataset.py", line 67, in ...
0
票
1
回答
356
閲覧数
pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい
Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか?
ご教授よろしくお願いします。
torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。
該当のソースコード
import torch
x = torch.randn(4, 3, 1)
...
0
票
1
回答
1,723
閲覧数
index 0 is out of bounds for axis 0 with size 0
映画のデータセットであるMovielensについて、KNN法を用いて解析をしていたところエラーが出てしまいました。エラーメッセージの意味がよくわからず、解説と解決策のご教授をお願いしたいです。このエラーが出ない映画タイトルもあります。
ソースコード
def get_movie_recommendation(movie_name):
n_movies_to_reccomend = 2
...
0
票
2
回答
826
閲覧数
Windows 10 + AnacondaでCUDAを利用可能にするには?
Teratailで回答を得られなかったので、こちらに投稿しています。
BigSleepというAI画像生成のパッケージが動かしたいと思っています。
Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。
$ conda create -n painter
$ conda ...
0
票
1
回答
656
閲覧数
torch.autograd.gradが0またはNoneTypeになってしまう
以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます.
torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です.
なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます.
...
0
票
1
回答
199
閲覧数
深層学習のモデルを使ったアプリケーションの作成方法
デスクトップアプリケーションとして配布を考えています。
その際、画像や音声を入力にディープラーニングのモデルを利用する予定です。
pyinstaller のようなPython コードを実行ファイルへ変換するのではなく
C++やC# などの言語ですべての処理をローカルのGPU(AMD,Nvidia)上で実行するソフトウェアの開発を行う予定です。
Tensorflow ...
0
票
1
回答
942
閲覧数
transformersからTFGPT2LMHeadModelをインポートできない (cannot import name 'TFGPT2LMHeadModel' from 'transformers')
Huggingface Transformers 入門 (6) - テキスト生成
こちらの記事を真似てコードを動かしていますが、最初の
import tensorflow as tf
from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
で以下のエラーが出ます
-------------------------------------...
0
票
1
回答
103
閲覧数
scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?
実装は以下のサイトのものをそのまま使用しました.
https://www.haya-programming.com/entry/2018/02/22/234011
混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります.
[[1699 1]
[ 0 1936]]
...
0
票
1
回答
859
閲覧数
pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。
以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。
解決法がわからないので教えてください。
実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。
ターミナルから実行するのでは、入力内容が多いため、...
0
票
1
回答
3,304
閲覧数
windows環境でcondaにpytorchが入りません
anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。
anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます
(nn) C:\Users\USER>conda install pytorch torchvision -c pytorch
Collecting package ...
0
票
1
回答
457
閲覧数
Trainable Parameterとはなんですか?
機械学習初心者です。
よろしくお願いします。
高負荷がかかる機械学習などでもGoogle ColaboratoryのGPU環境を使うことで、手軽に機械学習の勉強ができると聞いてGoogle Colaboを試してみています。
とりあえずテストでGoogle ColabでGPUをオンにして簡単なGRUでの予測計算を実行しているのですが、なぜかローカルPCよりも計算に ...
0
票
1
回答
231
閲覧数
バギングしたランダムフォレストの決定木を表示したい
バギングしたランダムフォレストの決定木の中からテストスコアが一番良いものを表示したいです。
以下のようなコードを書きました。
clf=BaggingClassifier(RandomForestClassifier(max_depth=depth, random_state=0), n_estimators=100, random_state=0)
#モデルを構築
clf = clf....
0
票
1
回答
156
閲覧数
tensorflowのsparse_placeholderのAttributeError
tensorflowでスパーステンソルのプレースホルダーに関して以下のように定義しました
ph = {
'adj_norm': tf.sparse_placeholder(tf.float32, name="adj_mat"),
'x': tf.sparse_placeholder(tf.float32, name="x")}
しかし,以下のようなエラーが出ます.
'...