[機械学習] タグが付いた質問

学習データから学習させ、新しい(未知の)データについての分類・推測などを行うための情報技術分野。についての質問。

82 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
4
0 回答
157 閲覧数

Xgboostの数学的背景について質問

XGboostの数学的背景について質問です。 Xgboostではロス関数の最小化の際に、 同関数をテイラー展開してから最適解を解くかと思います(Newton法)。 しかし、Newton法は、そもそも対象となる関数が2階微分できないと使用できない、 ヘッセ行列の正定値性が確保されないと使えないなどの欠点があったかと思います。 これについて同メソッドではどのようにクリアしているのでしょうか? ...
kanam's user avatar
  • 61
4
1 回答
183 閲覧数

複数日本語文章の分類の簡単な実装方法について

文章の分類方法のメリットデメリットを教えてください。 ■インプット ・200文字程度の複数の日本語文章 ・分類先(恋愛、ホラー、サスペンスなど、予め10個程度定義) ■アウトプット 文章A -> 恋愛 文章B -> サスペンス 文章C -> ホラー 、、、 ■分類方法 ちょっと調べたところ下のような方法が、 機械学習周りが素人の自分(ただのRailsエンジニア)...
Asuka's user avatar
  • 191
3
0 回答
93 閲覧数

初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい

プログラミング初心者で使用言語はPythonです。 やりたいことは以下の通りです。 ランダムに障害物が配置されてる仮想水路を設定 色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい) 結果を畳み込みニューラルネットワークで学習 学習結果から次のようなことをしたい 任意の場所に障害物を配置し、...
manatsu's user avatar
  • 177
3
0 回答
137 閲覧数

入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない

入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。 読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。 入れ子構造の交差検証のコードが間違っているのでしょうか? それとも、...
renren's user avatar
  • 41
3
2 回答
147 閲覧数

分類問題における評価方法について

機械学習を研究で初めてまだ初心者です。研究で4クラス分類の問題を扱っててaccuracyやprecisionやrecallを算出したいです。 データ数が少ない(30件ほど)で分割のされ方によってスコアにかなり影響を受けてしまいます。交差検証したときのばらつきが大きくて(例えばaccuracyが[0.83333333 0.72727273 0.44444444]など)評価方法に困っています。...
user31202's user avatar
2
0 回答
57 閲覧数

ロジスティック回帰分析の考え方について

ロジスティック回帰分析の勉強をしているのですが、下記についてアドバイスいただけることがありましたらお願いできますと幸いです。 ↓ ↓ ロジスティック回帰分析の説明変数で、一般的に、発生(1)・非発生(0) に対して説明変数が線形的に変化する(例えば煙草をたくさん喫うほど肺がんが発生しやすい等)と思いますが、説明変数が発生(1)に対して非線形に変化する場合(例えば、年収と軽自動車購入・非購入など、...
user47038's user avatar
2
0 回答
195 閲覧数

行列を数学的な関数と見做した時の行列積計算に相当する関数に一般的な呼称はありますか?

個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。 入力をバッチ次元xデータ次元yなf(x,y) 重みをデータ次元yニューロン次元zなg(y,z) としたとき、行列積に相当する計算は、おそらく ∫f(x,y)*g(y,z)dy (でy=0〜nの定積分) ...
龍野あずむ's user avatar
2
0 回答
45 閲覧数

『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由

とてもピンポイントな質問で申し訳ありませんが、 『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の 2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。 p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、 これをp(x_i | π)=Multi(x_i | π)と表記する。 ここで、...
user30925's user avatar
2
0 回答
311 閲覧数

deep-learning-modelsの画像認識時間

下記のサイトを見ながら画像認識を試しています。 Raspberry Pi 深層学習ライブラリで物体認識 (Keras with TensorFlow・Open CV) 学習済みモデルh5とjsonをダウンロードして同じ階層に置き、inception_v3のh5のリンク先をローカルに書き換えました。 WEIGHTS_PATH = '...
banban's user avatar
  • 21
1
0 回答
39 閲覧数

NN学習において、Valid Loss < Train Loss は悪ですか?

NN初心者です。 ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。 これは問題でしょうか? Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。 目的はvalid ...
GitCat's user avatar
  • 11
1
0 回答
57 閲覧数

拡散確率モデル画像合成手法の数学記号を教えてください。

ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。 [論文]Denoising Diffusion Probabilistic Models https://qiita.com/ground0state/items/565de257807b12dba52a そのサイトのしょっぱなの次の式が説明できる方教えてください。 特に、いきなり出てくる x0:T や ...
Good_Morning's user avatar
1
0 回答
68 閲覧数

CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生

Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。 しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。 mlmodelの入力タイプは以下のように変更することができました。 # convert_inputType.py :convert multiArray to image type ...
Shin Totoki's user avatar
1
0 回答
75 閲覧数

aws sagemakerにて、学習済みの音響モデルをデプロイする方法について

●実現したいこと aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。 以下の、比較的近い事例を参考に構築をすすめています。 https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
masahiroview's user avatar
1
1 回答
266 閲覧数

Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード

Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。 5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。 そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか? どなたかご教授くださいますよう、お願いします。 K =...
renren's user avatar
  • 41
1
1 回答
197 閲覧数

pytorchのoutputについて

以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。 正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。 学習用プログラム import os import ...
Takuya's user avatar
  • 11
1
0 回答
347 閲覧数

tiny-yolov3の学習済みモデルをcoremlモデルに変換

前提・実現したいこと tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。 iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
marakasu's user avatar
1
1 回答
386 閲覧数

画像判別AIモデルのloss率とacc率を良くしたい

うさぎとカメの判別AIの開発をしています。 しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。 通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。 これはニューラルネットワークの設計がいけないのでしょうか?? 以下に、スペックとソースコードと結果画面を載せます。 ...
stastaHato's user avatar
1
0 回答
39 閲覧数

Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。

Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。 その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。 私の認識は以下の通りです。 文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。 モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。 ...
countryside's user avatar
1
0 回答
168 閲覧数

学習曲線から見る過学習もしくは学習不足の判断について

表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。 サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。 お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
Irie Ryo's user avatar
1
0 回答
308 閲覧数

RNNの誤差逆伝播法における勾配の足し合わせ処理について

現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、 そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。 該当するソースコードと不明点を下記に、記載させていただきます。 質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。 ...
Python-Beginner's user avatar
1
0 回答
42 閲覧数

自然言語処理のデータセットについて

以下のように,単語と文にマルチラベルが付与されているデータセットを探しています. < text > it be very overpriced and not very tasty < wrd-label > non non non non [food,price] non non non [food] < stc-label > [food, price] ...
Shintarou Harada's user avatar
1
0 回答
249 閲覧数

chainerでvalidationが実装できません。

『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。 作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。 なお、python3.5.2、chainer6.4.0を使用しています。 以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。 変更前 ...
ih_hakase's user avatar
1
0 回答
52 閲覧数

loop paddingとはなんですか

機械学習で動作認識を行いたいと考えています. 学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します. このようなデータに対してloop paddingを用いることがあるらしいのですが, loop paddingとはどのような手法でしょうか. loop paddingに言及している例: https://arxiv.org/abs/1904.02422 https://...
eresh's user avatar
  • 11
1
1 回答
182 閲覧数

機械学習を用いた各パラメータの重要度評価について

フリーソフト「Orange」を用いて機械学習を行っている大学生です. 現在,3つの入力値に対して6つの出力値が得られる問題について扱っています. どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません. まず,(i)各特徴量の重要度(寄与率?)...
S.A.'s user avatar
  • 11
1
0 回答
168 閲覧数

深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について

ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。 例えばあるCNNに対して以下の探索を行うとします。 ・最適な層数 ・フィルタの次元(枚数、解像度) ・入力画像の解像度 ・活性化関数 ・学習アルゴリズム ...
rykami's user avatar
  • 131
1
1 回答
118 閲覧数

scikit-learn(決定木回帰)のAPIについて

scikit-learn の決定木を使った回帰についての質問です。 同アルゴリズムでは、 予測の精度を表す.score と 特徴量の重要性を表す .features_importances_ が あるかと思いますが、 回帰においてはそれぞれどのように算出されているのでしょうか? 分類であれば、前者は正しく分類できた割合 後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・ ...
companyyy's user avatar
1
1 回答
341 閲覧数

交差検証(クロス・バリデーション)を適応して意味のあるアルゴリズムについて

モデル評価にクロスバリデーションをよく使うのですが、 決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。 そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、...
大平賢司's user avatar
1
0 回答
263 閲覧数

VisualStudioでsvmlightを使いたいのですがエラーが発生してしまいます。

私はVisualStudio2015でsvmlightを使い、プログラムを書いています。 ここにあるソースを用いました。 https://github.com/DaHoC/trainHOG しかしコンパイルしようとしてもsvmlight.hから以下のようなエラーが出てしまいます。 エラー (アクティブ) "WORD" があいまいです Get_Car_Information c:\...
S.kana's user avatar
  • 11
1
0 回答
655 閲覧数

Chainerでアウトプットがベクトルのニューラルネットワークを訓練したい

Chainerでニューラルネットワークの勉強をしています。 今、3次元ベクトルtが教師データとして与えられています。 このtを用いて、ニューラルネットワークを訓練したいと思っています。 そこで、アウトプットが3次元ベクトルyのニューラルネットワークを作り、 教師ベクトルtとのユークリッド距離|t-y|を最小化するように訓練しようと思います。 このような場合Chainerでは、 ...
neco's user avatar
  • 357
1
0 回答
96 閲覧数

Theanoのscan関数のoutput_infoについて http://deeplearning.net/tutorial/rbm.html

http://deeplearning.net/tutorial/rbm.html このページでRBMについて学んでいるのですが、get_cost_update関数の中で使われるscanのoutputs_infoがなぜ outputs_info=[None, None, None, None, None, chain_start] となっているのかわかりません。 ...
ai7979's user avatar
  • 41
0
0 回答
112 閲覧数

結果が過学習しているのか知りたい

現在研究を行っているのですがlossは下がりval_lossは上がるという状態です。 下記の結果は過学習でしょうか? また過学習をしている場合の対策方法を知りたいです。 コートを別途記載いたしますので、具体的なコード例を用いてご教授いただければ幸いです。 Epoch 1/10 90/90 [==============================] - 8s 67ms/step - loss: ...
shinru's user avatar
  • 1
0
0 回答
94 閲覧数

proteinbertからEmbeddingを取得する方法について

タンパク質言語モデルであるproteinberthttps://github.com/nadavbra/protein_bert を用いて入力したアミノ酸配列のEmbeddingを取得する方法が知りたいです。 fine-tuningを行わずに取得したEmbeddingを学習に用いたいです。 詳しい方、よろしければご教授ください。
nagaT's user avatar
  • 1
0
1 回答
71 閲覧数

時系列分析のstatsmodels でエラー TypeError: arma_generate_sample() got an unexpected keyword argument 'sigma'

時系列データ分析のstatsmodelsに関する質問です。 以下のコードを実行したところ、エラーが出てしまいました。 sigma引数が使用できるようなstatsmodelsのバージョンを教えていただけないでしょうか。 使用しているPythonのバージョンは3.10.11、statsmodelsのバージョンは0.13.5になります。 よろしくお願いいたします。 エラーメッセージ: TypeError ...
yuyu's user avatar
  • 1
0
0 回答
65 閲覧数

モデルの正解率が96%にもかかわらず、各特徴量のジニ係数の結果があまりにもばらつきがないため過学習もしくはチューニング手法を間違っていると考えましたがどこでミスが起きているのかわからず助言をいただきたいです

import pandas as pd from sklearn.model_selection import cross_val_score, train_test_split from sklearn.metrics import accuracy_score, confusion_matrix from sklearn.tree import DecisionTreeClassifier ...
keyri's user avatar
  • 39
0
0 回答
33 閲覧数

load_iris dataの様にdataとtargetを設定したいが交差検証を回したいができないどのようにやればよいのでしょうか?

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns pd.read_csv('BioAsseT pt data.csv') df = pd.read_csv("BioAsseT pt data.csv") data = df.values ...
keyri's user avatar
  • 39
0
0 回答
115 閲覧数

LightGBMにおけるLGBMRankerクラスpredictメソッドの返す値の意味について

LGBMRankerを使って機械学習アプリケーションを自作しています。 モデルを作るところまではできて、predictメソッドを使い 予測値に対して結果を確認したところ、30~80程度のオーダーの小数値が返ってきます。 現在はこの数値を大きい順に並び変えて、上位を評価しています。 この数値の意味について教えて頂けますでしょうか。 また、LGBMClassifierクラスであれば、...
Yasu's user avatar
  • 1
0
0 回答
86 閲覧数

PyCaretで特徴量が変わることについて教えてください ValueError: Number of features of the model must match the input. Model n_features_ is 1025 and input n_features is 4104

PyCaretでsetupするときの前処理で、Original Dataのshape(281,4015)から、Transformed Train Set(196, 1046), Transformed Test Set(85, 1046)に変わる部分が分かりません このため以下のエラーが発生する原因になっています 背景として、添付のモノクロ顔画像の感情分類データ(120, 128,3) 46,...
Ta Ma's user avatar
  • 1
0
0 回答
161 閲覧数

scikit-learn でエラー:'Series' object has no attribute 'reshape'

Pythonで X_train = X_train.reshape(1, -1) を実行したところエラーが起きてしまいまして。初心者で質問も多いですが、指摘よろしくお願いいたします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
keyri's user avatar
  • 39
0
0 回答
70 閲覧数

深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?

深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう? (ローカル:自分のパソコンで計算する場合です)
モルフォ's user avatar
0
0 回答
266 閲覧数

darknet,Yolov7によるBBOXのデータをcsvで出力したい

前提 darknetでYolov7を用いて物体検出AIの作成を行っています。 使用している環境は以下のとおりです。 Ubuntu 22.0.4 LTS CUDA 11.07 cuDNN 8.5.0 GPU RTX 3600 Ti Python 3.10.6 AIの作成、検出はうまくいったのですが、検出結果にあるBBOXの座標を取得したく考えています。 お役に立つかわかりませんが、...
Yuki's user avatar
  • 1
0
0 回答
24 閲覧数

tensorFlow recommendersを使用した時の推薦アイテム数を増やす方法を教えてください。

以下のプログラムはtensorFlow recommenderのホームページにあるチュートリアルのコードそのままです。このプログラムの最後の行を変更することで、推薦するアイテムの数を10個までは表示できるのですが、それ以上の個数を表示することができません。10個以上のアイテムを推薦できる方法を教えていただけるとありがたいです。 import tensorflow_datasets as tfds ...
mike's user avatar
  • 1
0
0 回答
116 閲覧数

tfjs-modelsのpose-detectionでポーズ解析を行っているが、「TypeError: t is not a function」というエラーが出力

現在、tfjs-models/pose-detectionのライブラリを用いて、ポーズ解析のモジュールを追加実装しているところです。下記コードで処理を行っていますが、下記エラーが出力して処理ができない状況です。原因が分からず困っています... 実装コード(一部) import '@tensorflow/tfjs-core'; import '@tensorflow/tfjs-converter'; ...
ryupim's user avatar
  • 1
0
0 回答
86 閲覧数

ディープラーニングでの検証データの使いみち

機械学習・深層学習を勉強していると、データを「訓練データ」「検証データ」「テストデータ」に分けることが大事だというのを見かけます。 それぞれ「訓練データ」は学習を行うデータ、「検証データ」はSVMのカーネル関数の定数などのハイパーパラメータを決めるためのデータ、「テストデータ」が学習後のモデルを評価するためのデータ、という役割を持ちますが、ディープラーニングの実装(PyTorch)...
tedmosby's user avatar
0
0 回答
91 閲覧数

PytorchとPythonの数の扱いの違いについて

こんにちは, 研究で深層学習をやっているものです.早速なのですが,PytorchとPythonは数を異なった扱いで処理しているのでしょうか?(例えばfloat32, double64など) というのも,例えば非常に簡単なニューラルネット(ボールの重さmと発射角度theta,速度vを与えると落ちる位置を予測する)をPythonの自作のコードで定義した時と,...
SpaceTAKA's user avatar
  • 267
0
1 回答
120 閲覧数

sagemaker環境にてデプロイに失敗する

前提 awsのsagemakerにて音響モデルを用いたTTSシステムを作っています。 実現したいこと sagemakerで音響モデルをデプロイしたいと考えています。 発生している問題・エラーメッセージ デプロイ時に下記のエラーが繰り返し発生します。 Please specify --force/-f option to overwrite the model archive output file....
masahiroview's user avatar
0
0 回答
73 閲覧数

Pycaret, ROC曲線作成時のPlot_modelの時に、ROC_AUCが下がることについて

よろしくお願い申し上げます。 Pycaretを使用し、機械学習を行い、ROC曲線を記載すると、その前の図とAUCが大きく異なります。 何か問題があるのでしょうか? 何卒よろしくお願い申し上げます。 環境:Googlecolab
うろーろ's user avatar
0
1 回答
163 閲覧数

Expected input batch_size (67) to match target batch_size (16)のエラーを直したい

環境はcolabを使っています。 pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。 ...
sakana's user avatar
  • 1
0
1 回答
128 閲覧数

ElasticNetCVの引数n_alphasについて

scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
hrms's user avatar
  • 1
0
1 回答
1,415 閲覧数

TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない

pytorchで学習したモデルの推論を行いたいです。 モデルは、入力は2つ、出力は1つです。 そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。 どうすればうまく動かせるのですか? x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3) x_2 = [0.8 for i in range(len(x_1))] ...
18aaa's user avatar
  • 101
0
0 回答
978 閲覧数

Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。

pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。 Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。 model = Model model.load_state_dict(torch.load("185.pth")) model.load_state_dict(...
18aaa's user avatar
  • 101