[機械学習] タグが付いた質問
168
質問
0
票
0回答
36 件の閲覧数
機械学習で畳み込み層の前にLSTMを持ってくるのはあり?
機械学習で時系列の予想をしています。
一般的に畳み込みは最初の層から連続して行うべきと思っていますが、
一番最初の層をLSTMにしてその後に畳み込みをしたほうが目に見えて精度が良い傾向も見られました。
畳み込みの前にLSTMを入れたり、
畳み込み層を最初に固めないのは一般的なやり方ではありませんよね?
入力に対して散々畳みこんだあとLSTMに渡すほうが理にかなってるような気がしまして…
...
1
票
0回答
35 件の閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
0
票
0回答
51 件の閲覧数
Pythonでエラーが出てしまう: IndexError: index 100 is out of bounds for dimension 0 with size 100
下記のプログラムを実行すると、エラーメッセージが出てしまいます。
実装したいこととしては、Aを混同行列としてA[pred[i]][y[i]]に1を足しこみたいです。
エラーメッセージ:
File "cnnTm.py", line 61, in <module>
lossT, accT, ncorrectT = cnnL.evaluate(model, XT,...
0
票
0回答
42 件の閲覧数
正解率でいい結果が出ません!
・プログラムは以下の通りで、jupyter Notebook,pandasを使っています。
・KSSは眠気を数値化したもので、それ以外のデータ(LFなど)は心拍のデータです。
・目的は「'それ以外のデータ(LFなど)'から眠気(KSS)を予測することです
・KSSは整数値です。それ以外のデータ(LFなど)は整数値ではないです。
わからない事
・KSSが目的変数でそのほかのデータが説明変数です
・...
1
票
0回答
35 件の閲覧数
Backpropagation - softmax + cross_entroopy_log_loss 層からの勾配値をバッチサイズで割る理由
ゼロから作る Deep Learning 第六章の実装で、出力層(SoftmaxWithLoss)からの勾配値をバッチサイズで割り算していますが、これが必要な理由をお教えください。
全出力を合計したロス関数がバッチのすべての値の合計になるためバッチサイズで割る(cross_entropy_error function)のは理解できますが、逆伝播される勾配はバッチの合計値になっているのでしょうか?
...
1
票
1回答
117 件の閲覧数
kerasで2入力1出力のCNN設計をしたい
2枚の画像を入力して1つの出力を得る(分類される)CNNの設計を行っています。
具体的には,VGG16の特徴抽出層(重みは初期化しないでImagenetで学習済みのものを使用)を用いて2枚の画像から特徴を抽出し,それを全結合層で推論するネットワークです。
python3.6.4,keras2.3.1を使用しています。
ソースコードは以下の通りです。
from keras.models import ...
0
票
0回答
68 件の閲覧数
kerasを用いた、LSTMの作成方法を教えてください。
現在、50種類あるデータをLSTMを用いて、判別しようと考えています。
データの保存形式は、.npyで、学習データのshapeは、(30,23,1024,1024)で、学習データの答えのshapeは、(30)で保存しています。
30がバッチサイズ。23がtimesteps。1024,1024が2次元配列のデータとなっています。
(30,23,1024,1024)を用いて、...
0
票
0回答
27 件の閲覧数
機械学習_回帰でベクトル→ベクトルを行うにはどうすればよいのでしょうか
回帰では,説明変数x=[1,x1,x2,...,xn]が与えられたら,目的変数yはスカラーで,wをパラメータとして,
y=w0+w1x1+w2x2+...+wnxn
と書けると思います.このとき,yをベクトルで表すことはできるのでしょうか?
多数の教師データ,つまり説明変数と目的変数の組で書こうとすると,
Y=Xw
Y=[y0,y1,...,yn]^T
,Xはn×n行列
,w=[w0,w1,...,...
0
票
0回答
20 件の閲覧数
kerasでエポックごとの確率行列を取得し次のエポックへの入力として利用したい
エポックごとの確率行列を取得し、そこから相互情報量を計算し、次のエポックへの損失関数として入力していくような機械学習モデルを作成したいと思っております。
調べた限りではエポックごとの結果を保存したり表示するような方法はcallbackのon_each_epoch_endなどから設定でできるようなのですが、上記のようなエポックごとの出力を次に活かすような方法については見つかりませんでした。
...
2
票
1回答
56 件の閲覧数
分類モデルの作成
分類モデルの作成をしてまして、モデルの選択
ロジスティック回帰と決定木、ランダムフォレスト、SVMの4つのモデルを作成して比較で # for文でリストからモデルを取り出し、学習と予測、F1値の出力を行う。為のコードがどうしてもわからなく悩んでいます。ご教示お願い致します。
コード
import numpy as np
import matplotlib.pyplot as plt
import ...
2
票
1回答
78 件の閲覧数
scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?
実装は以下のサイトのものをそのまま使用しました.
https://www.haya-programming.com/entry/2018/02/22/234011
混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります.
[[1699 1]
[ 0 1936]]
...
2
票
0回答
41 件の閲覧数
matlabでnsga2を実装.目的関数の範囲指定,設計変数と目的変数の最大化を行いたい.
NSGA2をmatlabで動かせるよう以下のURLからダウンロードし実装.
https://jp.mathworks.com/matlabcentral/fileexchange/10429-nsga-ii-a-multi-objective-optimization-algorithm
実際に動かしてみて,成功はしたのですが
目的変数はすべて最小化
設計変数の範囲のみが指定可能
...
0
票
0回答
123 件の閲覧数
pytorchのnn.Embeddingの学習に関して
私は最近pytorchを利用して自然言語処理を勉強し始めました.
初歩的な内容で恐縮ですが,質問させていただきます.
よろしければご回答いただけますと幸いです.
単語の埋め込み表現をtorch.nn.Embedding()を用いて獲得しているのですが,
この埋め込み表現は学習時,どのように学習が行われているのでしょうか?
...
1
票
0回答
77 件の閲覧数
pytorchで作ったCNNが学習しません
以下のようなCNNをpythonで作成したのですが、計算を回したところlossの値が変化しませんでした。
原因がわからないのですが、教えていただけないでしょうか?
from torch.nn import MSELoss
device = 'cuda'
model = Model().to(device)
criterion = MSELoss()
optimizer = Adam(model....
0
票
0回答
87 件の閲覧数
keras-yolov3のtrain.pyのコードについて
前提
【物体検出】keras−yolo3の学習方法 を参考に、独自データにおけるYOLOv3の学習を行っています。
上記サイトで使用されているコード:
https://github.com/sleepless-se/keras-yolo3
すべてでなくても良いので教えていただけると助かります。
質問したいこと
1.
train.pyのコードの中で不明な点があります。
...
0
票
0回答
38 件の閲覧数
機械学習(SVM)のカーネル関数
現在、私は文書分類を行うプログラムを作成しています。
しかし、経験が無くカーネル関数の選択ができません。
以下の条件で推奨されるカーネル関数を教えてください。
語のリストがあり、文書に出現すれば1、しなければ0とした。
よって、特徴ベクトルは0と1のバイナリベクトルです。
特徴ベクトルの次元数は1000から1万程度です。
ラベルを0と1とした二値分類です。
よろしくお願いいたします。
0
票
1回答
137 件の閲覧数
pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。
以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。
解決法がわからないので教えてください。
実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。
ターミナルから実行するのでは、入力内容が多いため、...
0
票
1回答
1,516 件の閲覧数
'numpy.ndarray' object has no attribute 'append'のエラーについて
現在、Python機械学習プログラミング 達人データサイエンティストによる理論と実装の本で勉強してまして、
コードを実装すると、下記のエラーが発生してしまいます。ネットで調べたところ、numpyでarrayを追加することで解決とのことですが、どのようなコードを追加すればよいのか分かりません。
コードの追加及び他の方法で解決することについて、ご教示よろしくお願いいたします。
weights, ...
0
票
0回答
50 件の閲覧数
python sklearn 決定木 分類 任意の正解ラベルのみで正解率を最大化したい
機械学習 決定木での分類について質問です。
数百データを含むデータセットには2つの正解ラベルしかありません。正解ラベル、”True"と”Flase"とします。
pythonでsklearn.tree DecisionTreeClassifier をして分類をしていますが、そもそもデータセットの精度が悪いため、
"True"と"False"...
0
票
0回答
156 件の閲覧数
PythonのLSTMを用いて自然言語処理で小説の文を学習する際に起こるメモリ不足の解消
やりたいこと
小説の文章を学習し、文章生成を行おうと思っています。
その際、文章生成を行っているサイトを参考にプログラムを作成しました。
しかし、文章を学習する際に、
x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
の部分でエラーが起きてしまいます。恐らく、...
1
票
1回答
121 件の閲覧数
ニューラルネットワークにおける「パラメータ」とは何を指している?
プログラミングというより仕組みの質問です。
機械学習における十の法則、つまり「ネットワークにおけるパラメータの数の10倍の学習データを用意しろ」という文における「パラメータ」がよくわかりません。
入力層のことでしょうか?
中間層の組み合わせの数のことでしょうか?
それ以外の自分が知らないようなことでしょうか?
答えとその少し詳しい説明をいただけると幸いです
1
票
0回答
150 件の閲覧数
tiny-yolov3の学習済みモデルをcoremlモデルに変換
前提・実現したいこと
tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。
iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
0
票
1回答
620 件の閲覧数
windows環境でcondaにpytorchが入りません
anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。
anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます
(nn) C:\Users\USER>conda install pytorch torchvision -c pytorch
Collecting package ...
0
票
0回答
33 件の閲覧数
ウェイトごとのレイヤーウェイト制約を設定するには (How to set Layer weight constraints for each weight)
kerasを使って関数パラメータの近似をしようとしています。self.kernel = self.add_weightで追加するweightごとに取りうる値を制限するような制約を課したいのですが、どうすれば実現できるのでしょうか?
具体的にはself.kernelのそれぞれのweightがとりうる値に以下のように最大値最小値の制限をかけたいです。
tc = args[0] (1<args[0]...
0
票
1回答
118 件の閲覧数
kerasとscikit-learnによるaccuracyの算出方法による違いはありますか?
私は現在マルチラベルの画像分類をkerasのCNNを用いて行っています。
また、kerasのaccuracyだけでなくscikit-learnの様々な評価方法(Recall, Precision, F1 scoreそしてAccuracy)を用いて精度の再確認を行いました。
結果としてkerasで算出したAccuracyは約90%を示すのに、scikit-learnはどれも60%前後しか示しません。
...
0
票
0回答
104 件の閲覧数
dlibをインストールしようとするとcv2が見つからないというエラーが出てしまう
https://www.kkaneko.jp/dblab/dlib/trydlib.html
上のサイトを参考にしてdlibのインストールを進めていたのですが
py -m pip install --upgrade pip
py -m pip install -U numpy scikit-image scikit-learn
...
0
票
0回答
38 件の閲覧数
PyTorchのTransformerモジュールのmaskで何を指定すればよいかわからない
前提・実現したいこと
PyTorchのTransformerモジュールを使ってTransformerのモデルを作っています。
ですが、forwardの引数の***_maskで何を隠せばよいかわからず悩んでいます。
Transformer — PyTorch master documentation
上のリファレンスによれば、src_maskのサイズは(S,S)、tgt_maskのサイズは(T,T)...
0
票
0回答
27 件の閲覧数
機械学習でハイパーパラメータが最適化されたモデルで性能評価を行う方法
グリッドサーチを行い、ハイパーパラメータが調整されたモデルで、未知のデータに対するモデルの性能を評価したいです。
そこで、以下の3つの方法が考えられるのですがこれらの方法は正しいでしょうか。
なお、コードについては処理の流れを説明するためのものであり実際に動くコードにはなっていません。
1つ目
ホールドアウト法で評価する方法
X_train, X_test,y_train, y_test = ...
3
票
2回答
696 件の閲覧数
0
票
0回答
78 件の閲覧数
エラーの意味と解除方法が知りたい
if(!sampling == FALSE & length(DMP_IDs) >= sampling){
+ DMP_IDs <- DMP_IDs[floor(runif(sampling,1,length(DMP_IDs)))]
+ }
> allProbe_IDs <- rownames(selDataMatrix)
> if(version=="450"...
0
票
0回答
72 件の閲覧数
機械学習の学習過程の表示を変えたい
現在、Pythonを使って花の判別するプログラムを作っていてモデル学習もうまく機能しているのですが、CMDに表示をされる学習過程の表示がむずかしく見えるのでもっと簡単な表示に変えることが出来るのではないと考えました。
下は学習過程の画像です。
しかし、この表示を変えるためにはどこのソースコードを修正すればいいのかわかりません。
この学習過程の表示はどこから表示されているのでしょうか??
...
0
票
0回答
41 件の閲覧数
ML-agentsの3DBallを学習させたいが、学習済みモデルが動いてしまう
ML-agentsを使って機械学習をしようとしています。
Exampleに入っている3DBallを学習させようと思っているのですが、
Start training by pressing the Play button in the Unity Editor.
と表示されて、Unityでplayボタンを押すと、学習済みモデルが動いてしまい、学習させることができません。
...
0
票
1回答
68 件の閲覧数
Teachable Machineでローカルファイルを読み込む方法について
Teachable MachineのAudio Projectで、学習データとしてローカルファイルを使いたいのですが、
You can only upload zip files with audio data previously created/downloaded with Teachable Machine.
と出てしまいます。
実際にTeachable Machineで録音し、...
0
票
0回答
133 件の閲覧数
scikit-learnのStackingClassifierでestimatorに指定したLGBMClassifierが学習中にエラーを出す
models = []
models.append(('lgb_1', LGBMClassifier(boosting_type='gbdt', learning_rate=0.03,
max_depth=15, min_child_samples=50,
...
0
票
0回答
54 件の閲覧数
pythonプログラム実行時にエラーも出さずにログインパネルに移動してしまう。
理系大学院生からの質問です。
プログラミングに慣れ親しんでいる同期や先輩に質問してもみんな答えられないので、詳しい方がいたら教えて頂きたいです。
・anaconda3で仮想環境を作り、pycharmを使ってpythonのプログラミングを行っています。(mac)
・先輩の書いたプログラムをpycharmで実行しようとすると、実行した途端何故かmacのログインパネル(...
2
票
1回答
75 件の閲覧数
Dockerを使った機械学習のトレーニング精度を良くしたい
Dockerを使って3種類の花の判別プログラム(.py)を作成しています。
プログラムを実行して8回のトレーニングを行いましたが、なぜかトレーニングうまくできませんでした。
これが学習の結果です。
lossもaccも一定の数値のままででした。
試しに、Dockerを使わずにそのままPythonプログラムを実行してみました。
トレーニングがうまく機能しました。
つまり、...
0
票
1回答
86 件の閲覧数
Pythonのモジュールを用いた特徴量抽出のためのプログラムでエラーが出る問題について
前提・実現したいこと
言語処理100本ノックの「6章機械学習 51. 特徴量抽出」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノック 2020 第6章: 機械学習の51」に掲載されていた回答のまま、jupyter notebookでプログラムを実行しています。
エラーメッセージ
モジュールspacyはインストールしましたが、
Can'...
1
票
1回答
65 件の閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
0
票
2回答
107 件の閲覧数
特徴量どうしに関連がある場合の機械学習
機械学習に関する質問です。
特徴量が何層かの構造を持っているとき、
Pythonのscikit-learn等で機械学習をする場合、
どのようなデータとして扱えばよいか、またどのようなモデルが適切か教えてください。
簡単な例を挙げます。(良い例ではないかもしれませんが……)
物質Aと物質Bを色々な割合で混ぜ合わせた水溶液の物性データをもとに
...
0
票
0回答
151 件の閲覧数
「Pythonではじめる機械学習」のLogisticRegressionの出力が手元と違う
機械学習初心者です。頓珍漢な質問でしたら申し訳ありません。
書籍「Pythonではじめる機械学習」第5刷のP59~61について2つ質問があります。
(1)
書籍のコードを以下の通り写経していますが、出力が書籍に記されているものと若干異なります。
この原因を教えて下さい。
from sklearn.model_selection import train_test_split
from ...
0
票
0回答
53 件の閲覧数
watson-人工知能の学習トレーニングについて
はじめまして。先日、念願の人工知能を始めてみました。色々な会社を見た結果、Watsonを使ってみました。
そこで、分からないのが2つありますので質問させて頂きます。
1つ目は、学習させるデータは、Excelで作ったものとPDFファイルを使いたいと思っています。
そこで、数値入力した表と表から導き出したグラフは混同でも学習できるのでしょうか?
その場合、PDFファイルだけの学習でも出来るのでしょうか?...
0
票
0回答
124 件の閲覧数
tfliteでの検出方法はこれでよいですか?
今年に入ってから機械学習勉強開始した初心者です。
deeplabの学習データを使ってtflte作成、検出までをやろうとしています。
https://github.com/tensorflow/models/tree/master/research/deeplab
一応エラーが出ない状態で検出を実行できるようになったのですが、どの画像を投げても返ってくるのが0しか入っていない配列になります。
...
0
票
1回答
53 件の閲覧数
Trainable Parameterとはなんですか?
機械学習初心者です。
よろしくお願いします。
高負荷がかかる機械学習などでもGoogle ColaboratoryのGPU環境を使うことで、手軽に機械学習の勉強ができると聞いてGoogle Colaboを試してみています。
とりあえずテストでGoogle ColabでGPUをオンにして簡単なGRUでの予測計算を実行しているのですが、なぜかローカルPCよりも計算に ...
1
票
0回答
31 件の閲覧数
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。
Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。
私の認識は以下の通りです。
文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
...
1
票
1回答
97 件の閲覧数
要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい
dataframe e.g)
date vec
2019-01-04 [-0.08072768, -0.061041858, 0.09872102]
2019-01-04 [-0.07853928, -0.058681224, 0.10971683]
こういったdataframeがあった場合に、...
1
票
1回答
105 件の閲覧数
バギングしたランダムフォレストの決定木を表示したい
バギングしたランダムフォレストの決定木の中からテストスコアが一番良いものを表示したいです。
以下のようなコードを書きました。
clf=BaggingClassifier(RandomForestClassifier(max_depth=depth, random_state=0), n_estimators=100, random_state=0)
#モデルを構築
clf = clf....
0
票
0回答
37 件の閲覧数
バギングで求めたestimators_を決定木として可視化したい
以下のようにバギングした後の決定木を可視化したいです。
#決定木モデルとバギングの設定
model=BaggingClassifier(tree.DecisionTreeClassifier(random_state=0), n_estimators=100, random_state=0,bootstrap = False)
#モデルの構築
scores = {}
model.fit(...
1
票
0回答
72 件の閲覧数
バギングした決定木を可視化したいのにエラーが出る
バギングした決定木を可視化したいです。
以下のようなコードを書きましたが
#決定木モデルとバギングの設定
model=BaggingClassifier(tree.DecisionTreeClassifier(random_state=0), n_estimators=100, random_state=0)
#モデルの構築
scores = {}
model.fit(X_train, ...
0
票
0回答
95 件の閲覧数
Tacotron2-WaveglowのTacotron2のトレーニングの成果物について
tacotron2をダウンロードし、Readmeに記載されている
python train.py --output_directory=outdir --log_directory=logdir
を行った時にエラーの出ない学習環境をUbuntu18.04上に作成することができました。
(データはLJSpeech1.1を使用しました)
しかしながら、2日以上たっても学習が終了しないため、...
1
票
0回答
101 件の閲覧数
学習曲線から見る過学習もしくは学習不足の判断について
表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。
サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。
お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...