すべての質問
machine-learning or 機械学習 でタグ付けされた
77 未回答やベストアンサーなし質問
4
票
0
回答
172
閲覧数
Xgboostの数学的背景について質問
XGboostの数学的背景について質問です。
Xgboostではロス関数の最小化の際に、
同関数をテイラー展開してから最適解を解くかと思います(Newton法)。
しかし、Newton法は、そもそも対象となる関数が2階微分できないと使用できない、
ヘッセ行列の正定値性が確保されないと使えないなどの欠点があったかと思います。
これについて同メソッドではどのようにクリアしているのでしょうか?
...
3
票
0
回答
104
閲覧数
初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい
プログラミング初心者で使用言語はPythonです。
やりたいことは以下の通りです。
ランダムに障害物が配置されてる仮想水路を設定
色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい)
結果を畳み込みニューラルネットワークで学習
学習結果から次のようなことをしたい
任意の場所に障害物を配置し、...
3
票
0
回答
151
閲覧数
入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない
入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。
読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。
入れ子構造の交差検証のコードが間違っているのでしょうか?
それとも、...
3
票
2
回答
151
閲覧数
分類問題における評価方法について
機械学習を研究で初めてまだ初心者です。研究で4クラス分類の問題を扱っててaccuracyやprecisionやrecallを算出したいです。
データ数が少ない(30件ほど)で分割のされ方によってスコアにかなり影響を受けてしまいます。交差検証したときのばらつきが大きくて(例えばaccuracyが[0.83333333 0.72727273 0.44444444]など)評価方法に困っています。...
2
票
0
回答
59
閲覧数
ロジスティック回帰分析の考え方について
ロジスティック回帰分析の勉強をしているのですが、下記についてアドバイスいただけることがありましたらお願いできますと幸いです。
↓ ↓
ロジスティック回帰分析の説明変数で、一般的に、発生(1)・非発生(0) に対して説明変数が線形的に変化する(例えば煙草をたくさん喫うほど肺がんが発生しやすい等)と思いますが、説明変数が発生(1)に対して非線形に変化する場合(例えば、年収と軽自動車購入・非購入など、...
2
票
0
回答
201
閲覧数
行列を数学的な関数と見做した時の行列積計算に相当する関数に一般的な呼称はありますか?
個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。
入力をバッチ次元xデータ次元yなf(x,y)
重みをデータ次元yニューロン次元zなg(y,z)
としたとき、行列積に相当する計算は、おそらく
∫f(x,y)*g(y,z)dy (でy=0〜nの定積分)
...
2
票
0
回答
46
閲覧数
『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由
とてもピンポイントな質問で申し訳ありませんが、
『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の
2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。
p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、
これをp(x_i | π)=Multi(x_i | π)と表記する。
ここで、...
2
票
0
回答
312
閲覧数
deep-learning-modelsの画像認識時間
下記のサイトを見ながら画像認識を試しています。
Raspberry Pi 深層学習ライブラリで物体認識 (Keras with TensorFlow・Open CV)
学習済みモデルh5とjsonをダウンロードして同じ階層に置き、inception_v3のh5のリンク先をローカルに書き換えました。
WEIGHTS_PATH = '...
1
票
0
回答
176
閲覧数
HuggingFaceからLLMモデルを取得して追加学習ようとしたときにエラー
Windows11 Pro + Python 3.11 + VSCodeの環境で、LLMモデルに追加学習をさせるプログラムを作成しようと試みているのですが、エラーが発生しています。
原因をご教示いただきたく、よろしくお願いいたします。
やりたいこと
HuggingFaceからLLMモデルを取得して、CSVファイルを追加学習させたい。
やったこと
VSCodeのターミナルから ...
1
票
0
回答
274
閲覧数
NN学習において、Valid Loss < Train Loss は悪ですか?
NN初心者です。
ResNetのモデルで学習を行っているのですが、図の様にtrain loss >> valid lossとなってしまいます。
これは問題でしょうか?
Dropoutの層があり、dropout率を低くするとtrain lossが改善するので、dropoutが無いvalidationで精度が高くなるということだと理解しています。
目的はvalid ...
1
票
0
回答
76
閲覧数
拡散確率モデル画像合成手法の数学記号を教えてください。
ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。
[論文]Denoising Diffusion Probabilistic Models
https://qiita.com/ground0state/items/565de257807b12dba52a
そのサイトのしょっぱなの次の式が説明できる方教えてください。
特に、いきなり出てくる x0:T や ...
1
票
0
回答
103
閲覧数
CoreMLのコンパイルエラー:coremltoolsでmultiArrayタイプの変更後に発生
Google MediaPipeの'.tflite'を変換した'.mlmodel'を使おうとしています。
しかし、multiArrayの型を変更すると、CoreMLのコンパイルエラーが発生し、解決することができません。
mlmodelの入力タイプは以下のように変更することができました。
# convert_inputType.py :convert multiArray to image type
...
1
票
0
回答
95
閲覧数
aws sagemakerにて、学習済みの音響モデルをデプロイする方法について
●実現したいこと
aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。
以下の、比較的近い事例を参考に構築をすすめています。
https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
1
票
1
回答
347
閲覧数
Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード
Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。
5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。
そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか?
どなたかご教授くださいますよう、お願いします。
K =...
1
票
1
回答
274
閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
1
票
0
回答
368
閲覧数
tiny-yolov3の学習済みモデルをcoremlモデルに変換
前提・実現したいこと
tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。
iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
1
票
1
回答
462
閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
1
票
0
回答
41
閲覧数
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。
Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。
私の認識は以下の通りです。
文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
...
1
票
0
回答
198
閲覧数
学習曲線から見る過学習もしくは学習不足の判断について
表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。
サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。
お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
1
票
0
回答
316
閲覧数
RNNの誤差逆伝播法における勾配の足し合わせ処理について
現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、
そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。
該当するソースコードと不明点を下記に、記載させていただきます。
質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。
...
1
票
0
回答
45
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
254
閲覧数
chainerでvalidationが実装できません。
『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。
作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。
なお、python3.5.2、chainer6.4.0を使用しています。
以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。
変更前
...
1
票
0
回答
60
閲覧数
loop paddingとはなんですか
機械学習で動作認識を行いたいと考えています.
学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します.
このようなデータに対してloop paddingを用いることがあるらしいのですが,
loop paddingとはどのような手法でしょうか.
loop paddingに言及している例:
https://arxiv.org/abs/1904.02422
https://...
1
票
1
回答
205
閲覧数
機械学習を用いた各パラメータの重要度評価について
フリーソフト「Orange」を用いて機械学習を行っている大学生です.
現在,3つの入力値に対して6つの出力値が得られる問題について扱っています.
どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません.
まず,(i)各特徴量の重要度(寄与率?)...
1
票
0
回答
170
閲覧数
深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について
ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。
例えばあるCNNに対して以下の探索を行うとします。
・最適な層数
・フィルタの次元(枚数、解像度)
・入力画像の解像度
・活性化関数
・学習アルゴリズム
...
1
票
1
回答
122
閲覧数
scikit-learn(決定木回帰)のAPIについて
scikit-learn の決定木を使った回帰についての質問です。
同アルゴリズムでは、
予測の精度を表す.score と
特徴量の重要性を表す .features_importances_ が
あるかと思いますが、
回帰においてはそれぞれどのように算出されているのでしょうか?
分類であれば、前者は正しく分類できた割合
後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・
...
1
票
1
回答
345
閲覧数
交差検証(クロス・バリデーション)を適応して意味のあるアルゴリズムについて
モデル評価にクロスバリデーションをよく使うのですが、
決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。
そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、...
1
票
0
回答
264
閲覧数
VisualStudioでsvmlightを使いたいのですがエラーが発生してしまいます。
私はVisualStudio2015でsvmlightを使い、プログラムを書いています。
ここにあるソースを用いました。
https://github.com/DaHoC/trainHOG
しかしコンパイルしようとしてもsvmlight.hから以下のようなエラーが出てしまいます。
エラー (アクティブ) "WORD" があいまいです Get_Car_Information c:\...
1
票
0
回答
657
閲覧数
Chainerでアウトプットがベクトルのニューラルネットワークを訓練したい
Chainerでニューラルネットワークの勉強をしています。
今、3次元ベクトルtが教師データとして与えられています。
このtを用いて、ニューラルネットワークを訓練したいと思っています。
そこで、アウトプットが3次元ベクトルyのニューラルネットワークを作り、
教師ベクトルtとのユークリッド距離|t-y|を最小化するように訓練しようと思います。
このような場合Chainerでは、
...
1
票
0
回答
103
閲覧数
Theanoのscan関数のoutput_infoについて http://deeplearning.net/tutorial/rbm.html
http://deeplearning.net/tutorial/rbm.html
このページでRBMについて学んでいるのですが、get_cost_update関数の中で使われるscanのoutputs_infoがなぜ
outputs_info=[None, None, None, None, None, chain_start]
となっているのかわかりません。
...
0
票
0
回答
317
閲覧数
lightgbmでランキング学習をしていますが、いつまでたってもモデル学習が終わりません。パラメータの設定等に問題があるのでしょうか?
競馬予想でlightgbmのランキング学習をしています。特徴量の処理などを全部やった後で、モデル学習に移るんですが、モデル学習が何時間かかっても終わりません。パラメータの設定の問題でしょうか? ご指導のほどよろしくお願いいたします。
windows11 メモリ128kb ストレージ3Tb ハード的には十分だと思うのですが。
# データとラベルを訓練データと検証データに分割
X_train, ...
0
票
0
回答
101
閲覧数
Self-Attentionのヒートマップが上手く出力されない
実現したいこととして、Self-Attentionから得られた重みであるAttention Weightの可視化結果を正しく出力したい。
入力は動画データをI3Dに適用した特徴マップの0次元目にバッチサイズ30を設定したもの(30, 64, 1024)で、1次元目はフレーム数、2次元目は次元の大きさです。
正常映像と異常映像を同時入力するため、フレーム数の次元はtorch.catで結合しています。
...
0
票
0
回答
92
閲覧数
Vowpal Wabbitを使ったContextual Banditでの予測確立の出力の制御方法
Vowpal Wabbitを使って、以下のような仕様でContextual Banditの実装を試しました。
アクションは5種類:Lv1, Lv2, Lv3, Lv4 ,Lv5
学習データは600行程度
実行環境はPython3.10
学習データとして以下のサンプル"learn_example"を用意したとします。
learn_example = (
"Lv2:7....
0
票
0
回答
681
閲覧数
Python 3.12.1でのTPOT 0.12.1の読み込みエラーについて
Python3.12.1でAutoMLのTPOTを利用しようと考えています。
ターミナルでtpotをインストール後、
from tpot import TPOTClassifier
でtpotをインポートしたところ以下のエラーが発生しました。
ModuleNotFoundError: No module named 'imp'
調べた限り、impはPython3....
0
票
1
回答
176
閲覧数
時系列分析のstatsmodels でエラー TypeError: arma_generate_sample() got an unexpected keyword argument 'sigma'
時系列データ分析のstatsmodelsに関する質問です。
以下のコードを実行したところ、エラーが出てしまいました。
sigma引数が使用できるようなstatsmodelsのバージョンを教えていただけないでしょうか。
使用しているPythonのバージョンは3.10.11、statsmodelsのバージョンは0.13.5になります。
よろしくお願いいたします。
エラーメッセージ:
TypeError ...
0
票
0
回答
395
閲覧数
scikit-learn でエラー:'Series' object has no attribute 'reshape'
Pythonで X_train = X_train.reshape(1, -1) を実行したところエラーが起きてしまいまして。初心者で質問も多いですが、指摘よろしくお願いいたします。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import csv
...
0
票
0
回答
97
閲覧数
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
深層学習の計算に用いるGPUとしてはどれくらいの性能のものが最低でも必要なんでしょう?
(ローカル:自分のパソコンで計算する場合です)
0
票
0
回答
371
閲覧数
darknet,Yolov7によるBBOXのデータをcsvで出力したい
前提
darknetでYolov7を用いて物体検出AIの作成を行っています。
使用している環境は以下のとおりです。
Ubuntu 22.0.4 LTS
CUDA 11.07
cuDNN 8.5.0
GPU RTX 3600 Ti
Python 3.10.6
AIの作成、検出はうまくいったのですが、検出結果にあるBBOXの座標を取得したく考えています。
お役に立つかわかりませんが、...
0
票
0
回答
157
閲覧数
tfjs-modelsのpose-detectionでポーズ解析を行っているが、「TypeError: t is not a function」というエラーが出力
現在、tfjs-models/pose-detectionのライブラリを用いて、ポーズ解析のモジュールを追加実装しているところです。下記コードで処理を行っていますが、下記エラーが出力して処理ができない状況です。原因が分からず困っています...
実装コード(一部)
import '@tensorflow/tfjs-core';
import '@tensorflow/tfjs-converter';
...
0
票
1
回答
178
閲覧数
sagemaker環境にてデプロイに失敗する
前提
awsのsagemakerにて音響モデルを用いたTTSシステムを作っています。
実現したいこと
sagemakerで音響モデルをデプロイしたいと考えています。
発生している問題・エラーメッセージ
デプロイ時に下記のエラーが繰り返し発生します。
Please specify --force/-f option to overwrite the model archive output file....
0
票
0
回答
109
閲覧数
Pycaret, ROC曲線作成時のPlot_modelの時に、ROC_AUCが下がることについて
よろしくお願い申し上げます。
Pycaretを使用し、機械学習を行い、ROC曲線を記載すると、その前の図とAUCが大きく異なります。
何か問題があるのでしょうか?
何卒よろしくお願い申し上げます。
環境:Googlecolab
0
票
1
回答
223
閲覧数
Expected input batch_size (67) to match target batch_size (16)のエラーを直したい
環境はcolabを使っています。
pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。
...
0
票
1
回答
162
閲覧数
ElasticNetCVの引数n_alphasについて
scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
0
票
0
回答
1,106
閲覧数
Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。
pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。
Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。
model = Model
model.load_state_dict(torch.load("185.pth"))
model.load_state_dict(...
0
票
0
回答
358
閲覧数
GooglecolabでCycleGANを実行したのに1エポックの実行時間が長すぎます
以下のサイトに従ってGooglecolabでPytorchのCycleGANを実行したのですが1エポックに約30分も時間がかかってしまいます。このサイトでは1エポックに6分くらいかかると書いてありました。
CycleGAN で画像変換する。
ほかのサイトでも1エポックに6分当たりかかると書かれており私の実行時間よりとても短いです。なぜ私が実行すると30分もかかってしまうのかが分からず困っております。...
0
票
1
回答
493
閲覧数
Google Colaboratoryを使ったkerasでmodel.saveができない
画像認識プログラミングレシピという本で画像認識を学習中です。
kerasでモデルを保存しようとするとエラーが出て保存できません。
以下のサイトが参考になるかなと思ったのですが、読んでもよく理解できませんでした。
Kerasでmodel.saveしようとしてmust override get_configエラーが出たときの対処
文字数の関係上モデルの一部を抜粋させていただきました。
...
0
票
1
回答
279
閲覧数
機械学習でsin波を学習させた際のずれについて
機械学習初心者です。
sin波を機械学習で予想させようと思い、下記サイトを参考にプログラムを組んでみました。
https://www.ai-lab.app/169/
発展として、周期を連続的に予測させようと思いました。
方法としては次の値を予想させるために前5個分のデータを読み込ませて予想している感じです。そのようにプログラムしているつもりです。
まずは2周期目だけ予想させようと思ったのですが、...
0
票
0
回答
89
閲覧数
Face++APIの処理をフォルダ内の画像すべてに行えるようにしたい
Face++のdetectAPIを使ってフォルダ内の画像すべてに処理を行い、その結果を1つのcsvファイルに保存するプログラムを完成させたいです。
公式ドキュメントでは画像一枚だけに処理を行うコードが書かれているのですがそれを改変して書こうとしています。
機械学習用の画像データセットを作ろうと思い、
①画像をスクレイピングにて一括取得。
②取得した画像をカスケードファイルにて顔部分だけにリサイズ
...
0
票
1
回答
291
閲覧数
機械学習の可視化のグラフの見方
ちらほら見かける機械学習の結果を可視化したグラフで横軸エポック数,縦軸MSE?になっているものをよく見かけます.
この二つの線の意味としてはトレーニングデータをトレーニングデータで学習したものでテストした場合のMSEと,テストデータをトレーニングデータで学習したものでテストした場合のMSEという見方であっていますか?
0
票
1
回答
105
閲覧数
Logistic Regressionで実装しましたが,accuracyが20パーセント台と低いです.
Logistic Regressionによるニューラルネットを実装したのですが,その正解率が低すぎるので,直したいです.
入力xはshape(1,64)でyはラベルでshape(1,6)の配列です.バッチサイズやニューロンの数を変えたりと,ハイパラメータを変えてみたのですが,正答率が上がりませんでした.どなたか,正答率を上げるために,どのような方法がいいでしょうか,ご教示の程,...