Skip to main content

[機械学習] タグが付いた質問

学習データから学習させ、新しい(未知の)データについての分類・推測などを行うための情報技術分野。についての質問。

194 件の質問
絞り込み
並べ替え
タグ付けされた
1
1 回答
1,573 閲覧数

sklearnでImportError: cannot import name cloneというエラーが出る

pythonでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。 どうすればよいのかご教授お願い致します。 Traceback (most recent call last): File "random.py", line 4, in <module> from sklearn.ensemble import ...
blue_bird's user avatar
1
1 回答
1,682 閲覧数

chainerのConvolution2Dの引数

chainerのConvolution2Dの引数について質問です。 example/imagenet/nin.pyに定義されている mlpconv1=L.MLPConvolution2D( 3, (96, 96, 96), 11, stride=4, wscale=w), mlpconv2=L.MLPConvolution2D( 96, (256, 256, 256), 5, ...
yasu's user avatar
  • 11
1
0 回答
127 閲覧数

HuggingFaceからLLMモデルを取得して追加学習ようとしたときにエラー

Windows11 Pro + Python 3.11 + VSCodeの環境で、LLMモデルに追加学習をさせるプログラムを作成しようと試みているのですが、エラーが発生しています。 原因をご教示いただきたく、よろしくお願いいたします。 やりたいこと HuggingFaceからLLMモデルを取得して、CSVファイルを追加学習させたい。 やったこと VSCodeのターミナルから ...
松下明浩's user avatar
1
0 回答
219 閲覧数

NN学習において、Valid Loss < Train Loss は悪ですか?

NN初心者です。 ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。 これは問題でしょうか? Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。 目的はvalid ...
GitCat's user avatar
  • 11
1
0 回答
74 閲覧数

拡散確率モデル画像合成手法の数学記号を教えてください。

ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。 [論文]Denoising Diffusion Probabilistic Models https://qiita.com/ground0state/items/565de257807b12dba52a そのサイトのしょっぱなの次の式が説明できる方教えてください。 特に、いきなり出てくる x0:T や ...
Good_Morning's user avatar
1
0 回答
101 閲覧数

CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生

Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。 しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。 mlmodelの入力タイプは以下のように変更することができました。 # convert_inputType.py :convert multiArray to image type ...
Shin Totoki's user avatar
1
0 回答
94 閲覧数

aws sagemakerにて、学習済みの音響モデルをデプロイする方法について

●実現したいこと aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。 以下の、比較的近い事例を参考に構築をすすめています。 https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
masahiroview's user avatar
1
1 回答
340 閲覧数

Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード

Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。 5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。 そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか? どなたかご教授くださいますよう、お願いします。 K =...
renren's user avatar
  • 41
1
1 回答
264 閲覧数

pytorchのoutputについて

以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。 正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。 学習用プログラム import os import ...
Takuya's user avatar
  • 11
1
0 回答
365 閲覧数

tiny-yolov3の学習済みモデルをcoremlモデルに変換

前提・実現したいこと tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。 iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
marakasu's user avatar
1
1 回答
87 閲覧数

Dockerを使った機械学習のトレーニング精度を良くしたい

Dockerを使って3種類の花の判別プログラム(.py)を作成しています。 プログラムを実行して8回のトレーニングを行いましたが、なぜかトレーニングうまくできませんでした。 これが学習の結果です。 lossもaccも一定の数値のままででした。 試しに、Dockerを使わずにそのままPythonプログラムを実行してみました。 トレーニングがうまく機能しました。 つまり、...
stastaHato's user avatar
1
1 回答
452 閲覧数

画像判別AIモデルのloss率とacc率を良くしたい

うさぎとカメの判別AIの開発をしています。 しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。 通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。 これはニューラルネットワークの設計がいけないのでしょうか?? 以下に、スペックとソースコードと結果画面を載せます。 ...
stastaHato's user avatar
1
0 回答
41 閲覧数

Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。

Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。 その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。 私の認識は以下の通りです。 文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。 モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。 ...
countryside's user avatar
1
0 回答
190 閲覧数

学習曲線から見る過学習もしくは学習不足の判断について

表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。 サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。 お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
Irie Ryo's user avatar
1
0 回答
316 閲覧数

RNNの誤差逆伝播法における勾配の足し合わせ処理について

現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、 そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。 該当するソースコードと不明点を下記に、記載させていただきます。 質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。 ...
Python-Beginner's user avatar
1
0 回答
44 閲覧数

自然言語処理のデータセットについて

以下のように,単語と文にマルチラベルが付与されているデータセットを探しています. < text > it be very overpriced and not very tasty < wrd-label > non non non non [food,price] non non non [food] < stc-label > [food, price] ...
Shintarou Harada's user avatar
1
0 回答
254 閲覧数

chainerでvalidationが実装できません。

『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。 作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。 なお、python3.5.2、chainer6.4.0を使用しています。 以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。 変更前 ...
ih_hakase's user avatar
1
0 回答
59 閲覧数

loop paddingとはなんですか

機械学習で動作認識を行いたいと考えています. 学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します. このようなデータに対してloop paddingを用いることがあるらしいのですが, loop paddingとはどのような手法でしょうか. loop paddingに言及している例: https://arxiv.org/abs/1904.02422 https://...
eresh's user avatar
  • 11
1
1 回答
199 閲覧数

機械学習を用いた各パラメータの重要度評価について

フリーソフト「Orange」を用いて機械学習を行っている大学生です. 現在,3つの入力値に対して6つの出力値が得られる問題について扱っています. どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません. まず,(i)各特徴量の重要度(寄与率?)...
S.A.'s user avatar
  • 11
1
0 回答
170 閲覧数

深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について

ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。 例えばあるCNNに対して以下の探索を行うとします。 ・最適な層数 ・フィルタの次元(枚数、解像度) ・入力画像の解像度 ・活性化関数 ・学習アルゴリズム ...
rykami's user avatar
  • 131
1
1 回答
122 閲覧数

scikit-learn(決定木回帰)のAPIについて

scikit-learn の決定木を使った回帰についての質問です。 同アルゴリズムでは、 予測の精度を表す.score と 特徴量の重要性を表す .features_importances_ が あるかと思いますが、 回帰においてはそれぞれどのように算出されているのでしょうか? 分類であれば、前者は正しく分類できた割合 後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・ ...
companyyy's user avatar
1
1 回答
344 閲覧数

交差検証(クロス・バリデーション)を適応して意味のあるアルゴリズムについて

モデル評価にクロスバリデーションをよく使うのですが、 決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。 そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、...
大平賢司's user avatar
1
0 回答
263 閲覧数

VisualStudioでsvmlightを使いたいのですがエラーが発生してしまいます。

私はVisualStudio2015でsvmlightを使い、プログラムを書いています。 ここにあるソースを用いました。 https://github.com/DaHoC/trainHOG しかしコンパイルしようとしてもsvmlight.hから以下のようなエラーが出てしまいます。 エラー (アクティブ) "WORD" があいまいです Get_Car_Information c:\...
S.kana's user avatar
  • 11
1
0 回答
657 閲覧数

Chainerでアウトプットがベクトルのニューラルネットワークを訓練したい

Chainerでニューラルネットワークの勉強をしています。 今、3次元ベクトルtが教師データとして与えられています。 このtを用いて、ニューラルネットワークを訓練したいと思っています。 そこで、アウトプットが3次元ベクトルyのニューラルネットワークを作り、 教師ベクトルtとのユークリッド距離|t-y|を最小化するように訓練しようと思います。 このような場合Chainerでは、 ...
neco's user avatar
  • 357
1
0 回答
102 閲覧数

Theanoのscan関数のoutput_infoについて http://deeplearning.net/tutorial/rbm.html

http://deeplearning.net/tutorial/rbm.html このページでRBMについて学んでいるのですが、get_cost_update関数の中で使われるscanのoutputs_infoがなぜ outputs_info=[None, None, None, None, None, chain_start] となっているのかわかりません。 ...
ai7979's user avatar
  • 41
1
1 回答
289 閲覧数

MLlibで予測値を「確率」で出す方法

以下のページを参考にMLlibを実装したところ、predict関数の返り値が1か-1で、スパムの確率が高いほど1に近くそうでなければ0に近い値が出るというようにはできないようなのですが、MLlibではこのような「確率」を返す関数というのは用意されてないのでしょうか。 なお、NaiveBayesをSVMWithSGDに変えてみてもやはり1か0で超平面からの距離のような連続的な値にはならないようです。 ...
Lamron's user avatar
  • 485
0
1 回答
352 閲覧数

機械学習の学習過程をグラフ化したい

現在機械学習のプログラムを作成しております。 その際に過学習をしているかの判定のために、epochごとのtrainとvalidationの関係をグラフ化したいのですが、お恥ずかしいことにプログラムの書き方がわかりません。 基本的なグラフ化のサイトには目は通しましたが、自身のプログラムへ適応させたものへの変更、また環境の都合上一度ファイルとして出力する必要がある都合上、...
shinru's user avatar
  • 21
0
1 回答
960 閲覧数

Kaggleで「エキスパート」Tierになれる基準は何ですか?

Kaggleとは Kaggleのサイトへ行くと一番上に書かれていますが「The Home of Data Science & Machine Learning」(データサイエンスと機械学習の家)と題されている通り、世界中の機械学習・データサイエンスに携わっている約40万人の方が集まるコミニティーです。 https://www.kaggle.com/ エキスパートとは ...
Good_Morning's user avatar
0
1 回答
5,920 閲覧数

ImportError: cannot import name Randomというエラーが出る

sklearnでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。 まず簡単なものでやってみようと思い,ネットに出ているコードをそのまま使用しました。 どうしたらよいでしょうか。 コード from sklearn.ensemble import RandomForestClassifier trainingdata = [[1, 1], [2, 2], [-1, -1],...
blue_bird's user avatar
0
1 回答
195 閲覧数

これは" 過学習" 現象なのでしょうか?

構成の異なるNeural Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。 下記のような3つのoptimizerを同じ訓練ループの中で試しています 。 ## 一つ目 optimizer = AdaBound( model....
best medicine's user avatar
0
1 回答
655 閲覧数

色空間と表色系の違いは?

私は機械学習に関する研究を行っています。 色を表す方法として「色空間」という用語を使っている論文と「表色系」という用語を使っている論文があると思います。どちらがより正しい用語なのでしょうか。 私は「色を数字に変換するシステム」を表しているので、「表色系」の方が正確だと考えています。
山田太郎's user avatar
0
1 回答
1,437 閲覧数

pythonで変数が次のコードへ継承されません

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。 しかしながら、 Using TensorFlow backend. Traceback (most recent call last): File "/home/yudai/Desktop/keras_test.py", line 19, in model = ae(len(...
yudai tonoyama's user avatar
0
1 回答
1,680 閲覧数

Win + Python3.6で「pip install」を実行したときに「UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83」と表示される。

実行環境: Python3, PyCharm ライブラリ関係が必要とのことで、Anacondaを入れ直しました。 結月ゆかりに機械学習で声質変換するスクリプトのReadme.mdに従って、音響特徴量の切り出しをしようとコードを実行するも、PyCharmが立ち上がってしまいます。別なコードを実行してみても、PyCharmが立ち上がってしまいます。 ふと気づいたので、...
BURI's user avatar
  • 11
0
1 回答
294 閲覧数

地名と人名を関連させたデータベースを作りたい

乃木坂や豊田市、羽柴秀吉町などの人名と地名を関連させたデータベースを作ってみたいのですが、日本郵政から住所のexcel file、人名は歴史上の人名のデータベースから引っ張ってこようと思うのですが。その後どれだけの人数がいるのかを調べたいのですがどうしたら良いでしょうか?機械学習はkaggleでtitanicの問題は一応解いたことがある程度です。ここまでの内容でも、...
kimi Tanaka's user avatar
0
1 回答
301 閲覧数

Deep MNIST for Expertsを参考しながら、オリジナルの色のついた画像を六個のクラスに分類できるようにするには

下記のコードはオリジナルの画像データセットをTensorFlowのチュートリアルDeep MNIST for Expertsを参考しながら、色のついた画像を六個のクラスに分類できるようにしたかったもですが ValueError: Cannot feed value of shape (50, 784) for Tensor 'Placeholder_15:0', which has shape ...
user23690's user avatar
  • 273
0
1 回答
562 閲覧数

深層学習: 過学習について

現在、CNNのモデル3層レイヤ程度の小規模なもの(しかし各層でもつフィルタ数は多い)に対し、データ数(500枚程度)で学習させた結果認識率が100%(エラー0%)という結果になりました。データ数や、それに対するネットワークの複雑性から過学習が引き起こされました。これについて調べ、検証データを使用し学習と検証の曲線を調べればわかるということでした。 質問は、 ・...
rykami's user avatar
  • 131
0
1 回答
1,816 閲覧数

Rの{e1071}パッケージの関数 tune.svm() を利用して、C-SVM(ソフトマージンSVM)のパラメータ C をグリッドサーチでチューニングする際のグリッドサーチ結果の作図について

{e1071}パッケージのtune.svm()を利用して、C-SVM(ソフトマージンSVM)の C 値のチューニングをグリッドサーチにかけて見つけようとしているのですが、グリッドサーチ結果の図がうまく作成出来ません。 tune.svm()を利用してのグリッドサージ結果の作図をご教示して頂けると助かりますm(__)m <170305追記> 尚、作成したいグラフは以下のような種類のグラフです ...
Yagami's user avatar
  • 69
0
1 回答
74 閲覧数

SciPyを使ったCSRNetのコードを実行するとgaussian_filterでエラーが出る

やりたいこと Crowd countingのモデル CSRNet用にBeijing BRTデータセットの人物頭部位置のアノテーションからdensity mapのアノテーションを作成したい。 エラー Traceback (most recent call last): File "/path/to/directory/make_dataset.py", line 67, in ...
ryohassay's user avatar
0
1 回答
356 閲覧数

pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい

Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか? ご教授よろしくお願いします。 torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。 該当のソースコード import torch x = torch.randn(4, 3, 1) ...
hiroxile's user avatar
0
1 回答
1,723 閲覧数

index 0 is out of bounds for axis 0 with size 0

映画のデータセットであるMovielensについて、KNN法を用いて解析をしていたところエラーが出てしまいました。エラーメッセージの意味がよくわからず、解説と解決策のご教授をお願いしたいです。このエラーが出ない映画タイトルもあります。 ソースコード def get_movie_recommendation(movie_name): n_movies_to_reccomend = 2 ...
taro0224's user avatar
0
2 回答
826 閲覧数

Windows 10 + AnacondaでCUDAを利用可能にするには?

Teratailで回答を得られなかったので、こちらに投稿しています。 BigSleepというAI画像生成のパッケージが動かしたいと思っています。 Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。 $ conda create -n painter $ conda ...
spica's user avatar
  • 11
0
1 回答
656 閲覧数

torch.autograd.gradが0またはNoneTypeになってしまう

以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます. torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です. なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます. ...
citrus1998's user avatar
0
1 回答
199 閲覧数

深層学習のモデルを使ったアプリケーションの作成方法

デスクトップアプリケーションとして配布を考えています。 その際、画像や音声を入力にディープラーニングのモデルを利用する予定です。 pyinstaller のようなPython コードを実行ファイルへ変換するのではなく C++やC# などの言語ですべての処理をローカルのGPU(AMD,Nvidia)上で実行するソフトウェアの開発を行う予定です。 Tensorflow ...
tokuni's user avatar
  • 326
0
1 回答
942 閲覧数

transformersからTFGPT2LMHeadModelをインポートできない (cannot import name 'TFGPT2LMHeadModel' from 'transformers')

Huggingface Transformers 入門 (6) - テキスト生成 こちらの記事を真似てコードを動かしていますが、最初の import tensorflow as tf from transformers import TFGPT2LMHeadModel, GPT2Tokenizer で以下のエラーが出ます -------------------------------------...
Jin Watanabe's user avatar
0
1 回答
103 閲覧数

scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?

実装は以下のサイトのものをそのまま使用しました. https://www.haya-programming.com/entry/2018/02/22/234011 混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります. [[1699 1] [ 0 1936]] ...
kita4b's user avatar
  • 5
0
1 回答
859 閲覧数

pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。

以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。 解決法がわからないので教えてください。 実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。 ターミナルから実行するのでは、入力内容が多いため、...
user41827's user avatar
0
1 回答
3,304 閲覧数

windows環境でcondaにpytorchが入りません

anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。 anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます (nn) C:\Users\USER>conda install pytorch torchvision -c pytorch Collecting package ...
kokku's user avatar
  • 1
0
1 回答
457 閲覧数

Trainable Parameterとはなんですか?

機械学習初心者です。 よろしくお願いします。 高負荷がかかる機械学習などでもGoogle ColaboratoryのGPU環境を使うことで、手軽に機械学習の勉強ができると聞いてGoogle Colaboを試してみています。 とりあえずテストでGoogle ColabでGPUをオンにして簡単なGRUでの予測計算を実行しているのですが、なぜかローカルPCよりも計算に ...
qkun's user avatar
  • 19
0
1 回答
231 閲覧数

バギングしたランダムフォレストの決定木を表示したい

バギングしたランダムフォレストの決定木の中からテストスコアが一番良いものを表示したいです。 以下のようなコードを書きました。 clf=BaggingClassifier(RandomForestClassifier(max_depth=depth, random_state=0), n_estimators=100, random_state=0) #モデルを構築 clf = clf....
Yoohee's user avatar
  • 3
0
1 回答
156 閲覧数

tensorflowのsparse_placeholderのAttributeError

tensorflowでスパーステンソルのプレースホルダーに関して以下のように定義しました ph = { 'adj_norm': tf.sparse_placeholder(tf.float32, name="adj_mat"), 'x': tf.sparse_placeholder(tf.float32, name="x")} しかし,以下のようなエラーが出ます. '...
port trum's user avatar