[機械学習] タグが付いた質問
78
未回答やベストアンサーなし質問
5
票
1
回答
1万
閲覧数
nvidia GPUのメモリを再起動せずに解放する方法が知りたい
PCを再起動させずにメモリを解放する方法が知りたいです。
コマンド等でメモリ解放できないでしょうか?
2つのGPUを使用しており、片方は動作中のままにしたいので、
再起動や、全てのプロセスを停止させたりはしたくないです。
以下は nvidia-smi コマンドを実行した画面です。
●環境
OS:ubuntu14.04
GPU:GeForce GTX 1080
※python(chainer)...
4
票
0
回答
143
閲覧数
Xgboostの数学的背景について質問
XGboostの数学的背景について質問です。
Xgboostではロス関数の最小化の際に、
同関数をテイラー展開してから最適解を解くかと思います(Newton法)。
しかし、Newton法は、そもそも対象となる関数が2階微分できないと使用できない、
ヘッセ行列の正定値性が確保されないと使えないなどの欠点があったかと思います。
これについて同メソッドではどのようにクリアしているのでしょうか?
...
4
票
1
回答
150
閲覧数
複数日本語文章の分類の簡単な実装方法について
文章の分類方法のメリットデメリットを教えてください。
■インプット
・200文字程度の複数の日本語文章
・分類先(恋愛、ホラー、サスペンスなど、予め10個程度定義)
■アウトプット
文章A -> 恋愛
文章B -> サスペンス
文章C -> ホラー
、、、
■分類方法
ちょっと調べたところ下のような方法が、
機械学習周りが素人の自分(ただのRailsエンジニア)...
2
票
0
回答
41
閲覧数
ロジスティック回帰分析の考え方について
ロジスティック回帰分析の勉強をしているのですが、下記についてアドバイスいただけることがありましたらお願いできますと幸いです。
↓ ↓
ロジスティック回帰分析の説明変数で、一般的に、発生(1)・非発生(0) に対して説明変数が線形的に変化する(例えば煙草をたくさん喫うほど肺がんが発生しやすい等)と思いますが、説明変数が発生(1)に対して非線形に変化する場合(例えば、年収と軽自動車購入・非購入など、...
2
票
0
回答
78
閲覧数
初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい
プログラミング初心者で使用言語はPythonです。
やりたいことは以下の通りです。
ランダムに障害物が配置されてる仮想水路を設定
色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい)
結果を畳み込みニューラルネットワークで学習
学習結果から次のようなことをしたい
任意の場所に障害物を配置し、...
2
票
0
回答
83
閲覧数
入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない
入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。
読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。
入れ子構造の交差検証のコードが間違っているのでしょうか?
それとも、...
2
票
0
回答
179
閲覧数
行列を数学的な関数と見做した時の行列積計算に相当する関数に一般的な呼称はありますか?
個人的な興味から、機械学習における基本的な多層パーセプトロンについて、入力や重み行列を行列データでなく(数学的な意味での)関数として表した表現を考えています。
入力をバッチ次元xデータ次元yなf(x,y)
重みをデータ次元yニューロン次元zなg(y,z)
としたとき、行列積に相当する計算は、おそらく
∫f(x,y)*g(y,z)dy (でy=0〜nの定積分)
...
2
票
2
回答
137
閲覧数
分類問題における評価方法について
機械学習を研究で初めてまだ初心者です。研究で4クラス分類の問題を扱っててaccuracyやprecisionやrecallを算出したいです。
データ数が少ない(30件ほど)で分割のされ方によってスコアにかなり影響を受けてしまいます。交差検証したときのばらつきが大きくて(例えばaccuracyが[0.83333333 0.72727273 0.44444444]など)評価方法に困っています。...
2
票
0
回答
44
閲覧数
『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由
とてもピンポイントな質問で申し訳ありませんが、
『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の
2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。
p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、
これをp(x_i | π)=Multi(x_i | π)と表記する。
ここで、...
2
票
0
回答
309
閲覧数
deep-learning-modelsの画像認識時間
下記のサイトを見ながら画像認識を試しています。
Raspberry Pi 深層学習ライブラリで物体認識 (Keras with TensorFlow・Open CV)
学習済みモデルh5とjsonをダウンロードして同じ階層に置き、inception_v3のh5のリンク先をローカルに書き換えました。
WEIGHTS_PATH = '...
2
票
1
回答
111
閲覧数
scikit-learn(決定木回帰)のAPIについて
scikit-learn の決定木を使った回帰についての質問です。
同アルゴリズムでは、
予測の精度を表す.score と
特徴量の重要性を表す .features_importances_ が
あるかと思いますが、
回帰においてはそれぞれどのように算出されているのでしょうか?
分類であれば、前者は正しく分類できた割合
後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・
...
1
票
1
回答
179
閲覧数
Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード
Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。
5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。
そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか?
どなたかご教授くださいますよう、お願いします。
K =...
1
票
1
回答
143
閲覧数
Google Colaboratoryを使ったkerasでmodel.saveができない
画像認識プログラミングレシピという本で画像認識を学習中です。
kerasでモデルを保存しようとするとエラーが出て保存できません。
以下のサイトが参考になるかなと思ったのですが、読んでもよく理解できませんでした。
Kerasでmodel.saveしようとしてmust override get_configエラーが出たときの対処
文字数の関係上モデルの一部を抜粋させていただきました。
...
1
票
1
回答
103
閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
1
票
1
回答
9,784
閲覧数
'numpy.ndarray' object has no attribute 'append'のエラーについて
現在、Python機械学習プログラミング 達人データサイエンティストによる理論と実装の本で勉強してまして、
コードを実装すると、下記のエラーが発生してしまいます。ネットで調べたところ、numpyでarrayを追加することで解決とのことですが、どのようなコードを追加すればよいのか分かりません。
コードの追加及び他の方法で解決することについて、ご教示よろしくお願いいたします。
weights, ...
1
票
0
回答
272
閲覧数
tiny-yolov3の学習済みモデルをcoremlモデルに変換
前提・実現したいこと
tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。
iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
1
票
1
回答
211
閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
1
票
0
回答
36
閲覧数
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。
Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。
私の認識は以下の通りです。
文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
...
1
票
0
回答
147
閲覧数
学習曲線から見る過学習もしくは学習不足の判断について
表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。
サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。
お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
1
票
0
回答
294
閲覧数
RNNの誤差逆伝播法における勾配の足し合わせ処理について
現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、
そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。
該当するソースコードと不明点を下記に、記載させていただきます。
質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。
...
1
票
0
回答
38
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
238
閲覧数
chainerでvalidationが実装できません。
『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。
作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。
なお、python3.5.2、chainer6.4.0を使用しています。
以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。
変更前
...
1
票
0
回答
46
閲覧数
loop paddingとはなんですか
機械学習で動作認識を行いたいと考えています.
学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します.
このようなデータに対してloop paddingを用いることがあるらしいのですが,
loop paddingとはどのような手法でしょうか.
loop paddingに言及している例:
https://arxiv.org/abs/1904.02422
https://...
1
票
1
回答
137
閲覧数
機械学習を用いた各パラメータの重要度評価について
フリーソフト「Orange」を用いて機械学習を行っている大学生です.
現在,3つの入力値に対して6つの出力値が得られる問題について扱っています.
どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません.
まず,(i)各特徴量の重要度(寄与率?)...
1
票
0
回答
162
閲覧数
深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について
ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。
例えばあるCNNに対して以下の探索を行うとします。
・最適な層数
・フィルタの次元(枚数、解像度)
・入力画像の解像度
・活性化関数
・学習アルゴリズム
...
1
票
1
回答
332
閲覧数
交差検証(クロス・バリデーション)を適応して意味のあるアルゴリズムについて
モデル評価にクロスバリデーションをよく使うのですが、
決定木のようなバリアンスの大きいアルゴリズムについては、クロスバリデーションによる評価が意味のあるものかどうか、いつも疑問を抱いて行っています。
そもそもクロスバリデーションは最適なハイパーパラメータを探索することを目的にしていると思っているのですが、最終的なアウトプットとしてのモデルを評価するには、...
1
票
0
回答
262
閲覧数
VisualStudioでsvmlightを使いたいのですがエラーが発生してしまいます。
私はVisualStudio2015でsvmlightを使い、プログラムを書いています。
ここにあるソースを用いました。
https://github.com/DaHoC/trainHOG
しかしコンパイルしようとしてもsvmlight.hから以下のようなエラーが出てしまいます。
エラー (アクティブ) "WORD" があいまいです Get_Car_Information c:\...
1
票
0
回答
654
閲覧数
Chainerでアウトプットがベクトルのニューラルネットワークを訓練したい
Chainerでニューラルネットワークの勉強をしています。
今、3次元ベクトルtが教師データとして与えられています。
このtを用いて、ニューラルネットワークを訓練したいと思っています。
そこで、アウトプットが3次元ベクトルyのニューラルネットワークを作り、
教師ベクトルtとのユークリッド距離|t-y|を最小化するように訓練しようと思います。
このような場合Chainerでは、
...
1
票
0
回答
90
閲覧数
Theanoのscan関数のoutput_infoについて http://deeplearning.net/tutorial/rbm.html
http://deeplearning.net/tutorial/rbm.html
このページでRBMについて学んでいるのですが、get_cost_update関数の中で使われるscanのoutputs_infoがなぜ
outputs_info=[None, None, None, None, None, chain_start]
となっているのかわかりません。
...
0
票
0
回答
46
閲覧数
Machine Learning Studioを使用した発注数の予測について
発注漏れや発注ミスを軽減させる目的として
10年以上前から蓄積されている受注、売上、発注、仕入、在庫、等のデータを使用し
商品毎の未来発注数を予測しています。
今回使用した回帰の種類は「Decision Forest Regression」になり、
「Evaluate Model」の「Coefficient_of_Determination」は0.8875まで上げる事に成功しました。
その後、...
0
票
0
回答
64
閲覧数
"Do not support special JSON characters in feature name." の対処方法についての質問
.csvのデータでLightGBMに学習させようとしたときに
Do not support special JSON characters in feature name.
と表示されてしまいます。
試したことは、特徴量のspecial JSON charactersに対して、
df_train = df_train.rename(columns = lambda x:re.sub('[^A-...
0
票
1
回答
59
閲覧数
ElasticNetCVの引数n_alphasについて
scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
0
票
1
回答
265
閲覧数
TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない
pytorchで学習したモデルの推論を行いたいです。
モデルは、入力は2つ、出力は1つです。
そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。
どうすればうまく動かせるのですか?
x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3)
x_2 = [0.8 for i in range(len(x_1))]
...
0
票
0
回答
219
閲覧数
Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。
pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。
Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。
model = Model
model.load_state_dict(torch.load("185.pth"))
model.load_state_dict(...
0
票
0
回答
90
閲覧数
fasttextを用いて単語の分散表現⇒Sequentialで文章分類をしたいです!
初心者のため、難しいことはわかりませんm(_ _)m
colaboratory上で動かしています。
・まずは、自分で試したことを書きます。
まずはfasttextをダウンロードしました。
!mkdir data
!wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.ja.300.vec.gz -P data/
def ...
0
票
0
回答
95
閲覧数
Optunaでのモデルの保存方法がわかりません。
Optunaでのモデルの保存方法がわかりません。
Optuna自体の使い方は、githubのコードを見ることで理解できましたが、
ベイズ最適化を用いて自動的にモデルの各パラメータを決めて作成したモデルの保存の仕方ががわかりません。
Optunaを使うことで、最適なパラメータを算出することができますが、態々その最適条件でのパラメータの条件を自分で実行するのが無駄なので、Optunaをつかって、...
0
票
2
回答
234
閲覧数
Windows 10 + AnacondaでCUDAを利用可能にするには?
Teratailで回答を得られなかったので、こちらに投稿しています。
BigSleepというAI画像生成のパッケージが動かしたいと思っています。
Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。
$ conda create -n painter
$ conda ...
0
票
0
回答
30
閲覧数
Can't pickle <class 'learn.Learn' > :it's not the same object as learn.Learn Moduleエラーについて
CNNの学習モデルをsnetの中に格納し、pickleファイルにdumpする際に発生するエラーに関する質問です。
同ディレクトリ内にある learn.pyという自作モジュールの中にあるLearnクラスをimportしてモデルを作成しています。
PCはM1 Mac, python実行環境はjupyter notebookです。
0
票
0
回答
121
閲覧数
このようなエラーが発生したのですが、これはどういう意味ですか?因みにpytorchを用いて機械学習を学んでおります。
TypeError: empty() received an invalid combination of arguments - got (tuple, dtype=NoneType, device=NoneType), but expected one of:
* (tuple of ints size, *, tuple of names names, torch....
0
票
0
回答
56
閲覧数
レイヤーの読み込みで失敗してしまいます
Grad-CAM++を利用して注視領域を可視化したいです。
しかし、レイヤーの読み込みで、レイヤーが存在しないとなって失敗してしまいます。
レイヤー名はTensorBoardの出力をを参考にしてます
import pandas as pd
import numpy as np
import cv2
import argparse
import keras
import time
import ...
0
票
0
回答
104
閲覧数
GooglecolabでCycleGANを実行したのに1エポックの実行時間が長すぎます
以下のサイトに従ってGooglecolabでPytorchのCycleGANを実行したのですが1エポックに約30分も時間がかかってしまいます。このサイトでは1エポックに6分くらいかかると書いてありました。
CycleGAN で画像変換する。
ほかのサイトでも1エポックに6分当たりかかると書かれており私の実行時間よりとても短いです。なぜ私が実行すると30分もかかってしまうのかが分からず困っております。...
0
票
0
回答
70
閲覧数
OpenAI Gym [Atari Breakout] でボールの数やバーの長さを変更する方法
PythonにてOpenAI gym atari breakoutを用いてDQNの学習をしているのですが、その環境にて場にあるボールの数(残機ではない)を増やす方法やボールを打つかえすバーの長さの変更の仕方がわかりませんでした。
classic_controlなどはゲームの設定を変えれそうでしたが、Atariに関してはどこにプログラムファイルがあるのか不明でゲーム設定を変えることができませんでした。...
0
票
0
回答
174
閲覧数
M1 MACで機械学習の環境構築。VScodeでmatplotlib scikit-learnライブラリのimportが失敗する
anacondaで環境構築しVScodeで下記のライブラリをインポートしようとすると失敗致します。
※エディタはVScodeで開発したく、VScodeで動かせるようにしたいです。
インポートは下記Jupyterの画面では成功致します。
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
...
0
票
0
回答
48
閲覧数
tf_agents.utils.common.Checkpointerで保存されたチェックポイント情報の表示について
tf_agents.utils.common.Checkpointer のsaveを使い、チェックポイントファイルを保存しました。
ファイルの中身の情報(重みの値など)を見たいのですが、どのように表示すればいいのでしょうか?
ここに、私が扱いたいファイルのリンクがあります。
よろしくお願いします。
0
票
0
回答
83
閲覧数
SagemakerコンテナからEC2とインターネットの両方にアクセスしたい。
問題
現在SagemakerのPython SDKから学習コンテナによるトレーニングを実行しています。Sagemakerコンテナから、インターネットとEC2上のサーバー両方にアクセスすることは可能でしょうか?ただし、EC2は、セキュリティグループでIP制限をしています。
理由としては、学習処理の初めに、githubのレポジトリをクローンする必要があり、さらに学習中にEC2上のログ ...
0
票
0
回答
78
閲覧数
クロスバリデーションの解釈に関して
PythonのKerasを使って、ディープラーニングの回帰モデルを作成しました。
k=5のクロスバリデーションによるバリデーションを行ったところ、train_lossは5回の平均で0.10前後、validation_lossは平均で0.12前後でした。
データ中の外れ値(もしくは上限や下限ギリギリの値)により、validation_lossの方が値が大きくなる事は自然なことだと考えました。
しかし、...
0
票
0
回答
76
閲覧数
機械学習に用いる学習データに別のデータセットを使用することは可能ですか?
Twitterであるハッシュタグのツイートを機械学習を使って分類(誹謗中傷ツイートか否か)したいです。
そこで、似た内容のハッシュタグのツイートをラベリングしたデータセットを見つけました。この場合、このデータセットを学習データとしてモデリングを行い、自分の収集したツイートデータを全てテストデータとして用いることは可能でしょうか。
調べたら「転移学習」という言葉が出てきて、...
0
票
1
回答
154
閲覧数
機械学習でsin波を学習させた際のずれについて
機械学習初心者です。
sin波を機械学習で予想させようと思い、下記サイトを参考にプログラムを組んでみました。
https://www.ai-lab.app/169/
発展として、周期を連続的に予測させようと思いました。
方法としては次の値を予想させるために前5個分のデータを読み込ませて予想している感じです。そのようにプログラムしているつもりです。
まずは2周期目だけ予想させようと思ったのですが、...
0
票
0
回答
58
閲覧数
Grad-CAM を Gray スケール or 1要素
tf-kras-vis で Grad-CAM を使ってます。Grad-CAM は デフォルトで RGB を想定してますが、RGB ではなく gray スケールや 1要素 (R のみ G のみなど )のみで使用するにはどうすればいいでしょうか?参考になるものを知っていれば教えてください。
0
票
0
回答
64
閲覧数
Face++APIの処理をフォルダ内の画像すべてに行えるようにしたい
Face++のdetectAPIを使ってフォルダ内の画像すべてに処理を行い、その結果を1つのcsvファイルに保存するプログラムを完成させたいです。
公式ドキュメントでは画像一枚だけに処理を行うコードが書かれているのですがそれを改変して書こうとしています。
機械学習用の画像データセットを作ろうと思い、
①画像をスクレイピングにて一括取得。
②取得した画像をカスケードファイルにて顔部分だけにリサイズ
...