[機械学習] タグが付いた質問
196
質問
0
票
0
回答
71
閲覧数
Face++APIの処理をフォルダ内の画像すべてに行えるようにしたい
Face++のdetectAPIを使ってフォルダ内の画像すべてに処理を行い、その結果を1つのcsvファイルに保存するプログラムを完成させたいです。
公式ドキュメントでは画像一枚だけに処理を行うコードが書かれているのですがそれを改変して書こうとしています。
機械学習用の画像データセットを作ろうと思い、
①画像をスクレイピングにて一括取得。
②取得した画像をカスケードファイルにて顔部分だけにリサイズ
...
0
票
1
回答
429
閲覧数
PyTorchでのloss関数自作時に出力ベクトル以外の変数も使いたい
PyTorchで機械学習を行っているのですが、loss関数を自作したいと思っています。
今のところ学習用のデータx_train, x_test, y_train, y_testは作成方法として
(1) DNNへの入力データ
Data_A(サイズ[10000,200])→処理1(不可逆変換)→Data_X(サイズ[10000,200])
(2) DNNからの出力データ
Data_A(サイズ[...
0
票
1
回答
194
閲覧数
機械学習の可視化のグラフの見方
ちらほら見かける機械学習の結果を可視化したグラフで横軸エポック数,縦軸MSE?になっているものをよく見かけます.
この二つの線の意味としてはトレーニングデータをトレーニングデータで学習したものでテストした場合のMSEと,テストデータをトレーニングデータで学習したものでテストした場合のMSEという見方であっていますか?
0
票
1
回答
942
閲覧数
KerasでLSTMをしようとしているが、エラーが出てしまう。
3次元のデータと1次元の正解データをLSTMで学習させようとしているが、エラーが出てしまします。
どうすればよいでしょうか?
コードに問題があったため少し変更しました。
参考にしたものはこちらです。
http://sweng.web.fc2.com/ja/program/python/time-series-forecast-lstm.html
import numpy as np
from ...
0
票
1
回答
98
閲覧数
Logistic Regressionで実装しましたが,accuracyが20パーセント台と低いです.
Logistic Regressionによるニューラルネットを実装したのですが,その正解率が低すぎるので,直したいです.
入力xはshape(1,64)でyはラベルでshape(1,6)の配列です.バッチサイズやニューロンの数を変えたりと,ハイパラメータを変えてみたのですが,正答率が上がりませんでした.どなたか,正答率を上げるために,どのような方法がいいでしょうか,ご教示の程,...
1
票
1
回答
159
閲覧数
pytorchのoutputについて
以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。
正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。
学習用プログラム
import os
import ...
0
票
0
回答
2,370
閲覧数
Pythonでエラーが出てしまう: IndexError: index 100 is out of bounds for dimension 0 with size 100
下記のプログラムを実行すると、エラーメッセージが出てしまいます。
実装したいこととしては、Aを混同行列としてA[pred[i]][y[i]]に1を足しこみたいです。
エラーメッセージ:
File "cnnTm.py", line 61, in <module>
lossT, accT, ncorrectT = cnnL.evaluate(model, XT,...
0
票
1
回答
1,485
閲覧数
kerasで2入力1出力のCNN設計をしたい
2枚の画像を入力して1つの出力を得る(分類される)CNNの設計を行っています。
具体的には,VGG16の特徴抽出層(重みは初期化しないでImagenetで学習済みのものを使用)を用いて2枚の画像から特徴を抽出し,それを全結合層で推論するネットワークです。
python3.6.4,keras2.3.1を使用しています。
ソースコードは以下の通りです。
from keras.models import ...
0
票
1
回答
406
閲覧数
分類モデルの作成
分類モデルの作成をしてまして、モデルの選択
ロジスティック回帰と決定木、ランダムフォレスト、SVMの4つのモデルを作成して比較で # for文でリストからモデルを取り出し、学習と予測、F1値の出力を行う。為のコードがどうしてもわからなく悩んでいます。ご教示お願い致します。
コード
import numpy as np
import matplotlib.pyplot as plt
import ...
0
票
1
回答
98
閲覧数
scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?
実装は以下のサイトのものをそのまま使用しました.
https://www.haya-programming.com/entry/2018/02/22/234011
混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります.
[[1699 1]
[ 0 1936]]
...
0
票
0
回答
137
閲覧数
pytorchで作ったCNNが学習しません
以下のようなCNNをpythonで作成したのですが、計算を回したところlossの値が変化しませんでした。
原因がわからないのですが、教えていただけないでしょうか?
from torch.nn import MSELoss
device = 'cuda'
model = Model().to(device)
criterion = MSELoss()
optimizer = Adam(model....
0
票
1
回答
551
閲覧数
pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。
以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。
解決法がわからないので教えてください。
実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。
ターミナルから実行するのでは、入力内容が多いため、...
1
票
1
回答
1万
閲覧数
'numpy.ndarray' object has no attribute 'append'のエラーについて
現在、Python機械学習プログラミング 達人データサイエンティストによる理論と実装の本で勉強してまして、
コードを実装すると、下記のエラーが発生してしまいます。ネットで調べたところ、numpyでarrayを追加することで解決とのことですが、どのようなコードを追加すればよいのか分かりません。
コードの追加及び他の方法で解決することについて、ご教示よろしくお願いいたします。
weights, ...
0
票
1
回答
1,028
閲覧数
ニューラルネットワークにおける「パラメータ」とは何を指している?
プログラミングというより仕組みの質問です。
機械学習における十の法則、つまり「ネットワークにおけるパラメータの数の10倍の学習データを用意しろ」という文における「パラメータ」がよくわかりません。
入力層のことでしょうか?
中間層の組み合わせの数のことでしょうか?
それ以外の自分が知らないようなことでしょうか?
答えとその少し詳しい説明をいただけると幸いです
1
票
0
回答
325
閲覧数
tiny-yolov3の学習済みモデルをcoremlモデルに変換
前提・実現したいこと
tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。
iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
0
票
1
回答
2,543
閲覧数
windows環境でcondaにpytorchが入りません
anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。
anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます
(nn) C:\Users\USER>conda install pytorch torchvision -c pytorch
Collecting package ...
0
票
1
回答
318
閲覧数
kerasとscikit-learnによるaccuracyの算出方法による違いはありますか?
私は現在マルチラベルの画像分類をkerasのCNNを用いて行っています。
また、kerasのaccuracyだけでなくscikit-learnの様々な評価方法(Recall, Precision, F1 scoreそしてAccuracy)を用いて精度の再確認を行いました。
結果としてkerasで算出したAccuracyは約90%を示すのに、scikit-learnはどれも60%前後しか示しません。
...
0
票
0
回答
226
閲覧数
dlibをインストールしようとするとcv2が見つからないというエラーが出てしまう
https://www.kkaneko.jp/dblab/dlib/trydlib.html
上のサイトを参考にしてdlibのインストールを進めていたのですが
py -m pip install --upgrade pip
py -m pip install -U numpy scikit-image scikit-learn
...
3
票
2
回答
5,542
閲覧数
ベイズ最適化と遺伝的アルゴリズムと強化学習の違い
これらの最適化にかかる時間, 最適化の拡張性の違いはなんですか?
またそれぞれの強みはなんですか?
※拡張性は例えば値のみしか最適化できないなど
0
票
1
回答
288
閲覧数
Teachable Machineでローカルファイルを読み込む方法について
Teachable MachineのAudio Projectで、学習データとしてローカルファイルを使いたいのですが、
You can only upload zip files with audio data previously created/downloaded with Teachable Machine.
と出てしまいます。
実際にTeachable Machineで録音し、...
0
票
0
回答
61
閲覧数
pythonプログラム実行時にエラーも出さずにログインパネルに移動してしまう。
理系大学院生からの質問です。
プログラミングに慣れ親しんでいる同期や先輩に質問してもみんな答えられないので、詳しい方がいたら教えて頂きたいです。
・anaconda3で仮想環境を作り、pycharmを使ってpythonのプログラミングを行っています。(mac)
・先輩の書いたプログラムをpycharmで実行しようとすると、実行した途端何故かmacのログインパネル(...
1
票
1
回答
83
閲覧数
Dockerを使った機械学習のトレーニング精度を良くしたい
Dockerを使って3種類の花の判別プログラム(.py)を作成しています。
プログラムを実行して8回のトレーニングを行いましたが、なぜかトレーニングうまくできませんでした。
これが学習の結果です。
lossもaccも一定の数値のままででした。
試しに、Dockerを使わずにそのままPythonプログラムを実行してみました。
トレーニングがうまく機能しました。
つまり、...
0
票
1
回答
198
閲覧数
Pythonのモジュールを用いた特徴量抽出のためのプログラムでエラーが出る問題について
前提・実現したいこと
言語処理100本ノックの「6章機械学習 51. 特徴量抽出」の問題について、回答でどの部分を修正したらいいかわからないです。
Qiita記事「言語処理100本ノック 2020 第6章: 機械学習の51」に掲載されていた回答のまま、jupyter notebookでプログラムを実行しています。
エラーメッセージ
モジュールspacyはインストールしましたが、
Can'...
1
票
1
回答
327
閲覧数
画像判別AIモデルのloss率とacc率を良くしたい
うさぎとカメの判別AIの開発をしています。
しかし、なぜか学習がうまくいかず、lossやacc(判別成功率)の値が良くなりません。
通常、lossとaccは反比例で片方の数値が増加すればもう片方が減少するはずなのに、lossが膨大に増加してaccは0.5あたりで変化しません。
これはニューラルネットワークの設計がいけないのでしょうか??
以下に、スペックとソースコードと結果画面を載せます。
...
0
票
2
回答
155
閲覧数
特徴量どうしに関連がある場合の機械学習
機械学習に関する質問です。
特徴量が何層かの構造を持っているとき、
Pythonのscikit-learn等で機械学習をする場合、
どのようなデータとして扱えばよいか、またどのようなモデルが適切か教えてください。
簡単な例を挙げます。(良い例ではないかもしれませんが……)
物質Aと物質Bを色々な割合で混ぜ合わせた水溶液の物性データをもとに
...
0
票
1
回答
301
閲覧数
Trainable Parameterとはなんですか?
機械学習初心者です。
よろしくお願いします。
高負荷がかかる機械学習などでもGoogle ColaboratoryのGPU環境を使うことで、手軽に機械学習の勉強ができると聞いてGoogle Colaboを試してみています。
とりあえずテストでGoogle ColabでGPUをオンにして簡単なGRUでの予測計算を実行しているのですが、なぜかローカルPCよりも計算に ...
1
票
0
回答
39
閲覧数
Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。
Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。
私の認識は以下の通りです。
文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
...
0
票
1
回答
291
閲覧数
要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい
dataframe e.g)
date vec
2019-01-04 [-0.08072768, -0.061041858, 0.09872102]
2019-01-04 [-0.07853928, -0.058681224, 0.10971683]
こういったdataframeがあった場合に、...
0
票
1
回答
190
閲覧数
バギングしたランダムフォレストの決定木を表示したい
バギングしたランダムフォレストの決定木の中からテストスコアが一番良いものを表示したいです。
以下のようなコードを書きました。
clf=BaggingClassifier(RandomForestClassifier(max_depth=depth, random_state=0), n_estimators=100, random_state=0)
#モデルを構築
clf = clf....
0
票
0
回答
314
閲覧数
バギングした決定木を可視化したいのにエラーが出る
バギングした決定木を可視化したいです。
以下のようなコードを書きましたが
#決定木モデルとバギングの設定
model=BaggingClassifier(tree.DecisionTreeClassifier(random_state=0), n_estimators=100, random_state=0)
#モデルの構築
scores = {}
model.fit(X_train, ...
1
票
0
回答
164
閲覧数
学習曲線から見る過学習もしくは学習不足の判断について
表題の件ですが、現在隠れマルコフモデル(HMM)で時系列データの自動判別を試みていますが、過学習の疑いがあるため質問しました。
サンプル数は60でtrue/falseの2値分類の学習なのですが、サンプル数別の検証結果とテスト結果によるaccuracyの曲線が以下のようにプロットされました。
お聞きしたい事としては、青線が検証データ・緑線がテストデータでのスコアなのですが、...
1
票
0
回答
298
閲覧数
RNNの誤差逆伝播法における勾配の足し合わせ処理について
現在、書籍「ゼロから作るDeepLearning2」でRNNの誤差逆伝播法を学習しており、
そのアルゴリズムについて不明な点があったため、ご教示いただきたいです。
該当するソースコードと不明点を下記に、記載させていただきます。
質問①: 誤差逆伝播を行う関数への引数が、「時刻tにおける出力の勾配(dhs)と、時刻t+1の勾配(dh)を足し合わせた値」を渡している理由がわからない。
...
0
票
0
回答
140
閲覧数
pythonライブラリhmmlearnのAttributeError
実行したコード
from hmmlearn import hmm
model = hmm.GaussianHMM(n_components=5, n_iter=100)
model.covars_
吐き出されたエラー文
---------------------------------------------------------------------------
...
0
票
1
回答
704
閲覧数
KerasでVGG16の転移学習をするときにValueErrorが発生する
質問
Kerasに実装されているVGG16を転移学習して画像の2クラス分類をしようと考えております。
参考サイトのコードを一部修正して実行すると、下記エラーが発生して学習できません。
ValueError: Error when checking target: expected sequential_1 to have shape (2,) but got array with shape (...
0
票
1
回答
97
閲覧数
ラベルなしのセンサデータを使って、分類を行いたい
ある論文のコピープロジェクトで、耳の中にセンサーを組み込み、表情認識を行う(何もしていない時の出力は0、大きく口を開けた時は1)ということを実装しようとしています。
chainerでニューラルネットワーク簡単実装(初心者向け)
上記のサイトを参考にして、ラベル付けされたセンサデータ(フォトリフレクタ、0.1s*20=2s)をまとめたcsvファイルで学習を行いました。
今、...
0
票
1
回答
135
閲覧数
tensorflowのsparse_placeholderのAttributeError
tensorflowでスパーステンソルのプレースホルダーに関して以下のように定義しました
ph = {
'adj_norm': tf.sparse_placeholder(tf.float32, name="adj_mat"),
'x': tf.sparse_placeholder(tf.float32, name="x")}
しかし,以下のようなエラーが出ます.
'...
1
票
0
回答
40
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
246
閲覧数
chainerでvalidationが実装できません。
『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。
作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。
なお、python3.5.2、chainer6.4.0を使用しています。
以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。
変更前
...
0
票
1
回答
546
閲覧数
色空間と表色系の違いは?
私は機械学習に関する研究を行っています。
色を表す方法として「色空間」という用語を使っている論文と「表色系」という用語を使っている論文があると思います。どちらがより正しい用語なのでしょうか。
私は「色を数字に変換するシステム」を表しているので、「表色系」の方が正確だと考えています。
4
票
2
回答
1,267
閲覧数
訓練データとテストデータの評価の差
ある数値を予測するコンペの問題をPythonでやってます。
与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。
https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook
上記を参考にして、取り出したデータをもとにLASSO ...
0
票
1
回答
372
閲覧数
tslearnを用いた時のResumed because of empty clusterについて
tslearnによるKShapeという分類手法を用いた時に、「Resumed because of empty cluster」と表記されます。
この場合、使っているデータセットの問題なのでしょうか、それとも学習回数など改善することによってうまく分類できるようになるのでしょうか。
アドバイスをいただきたいです。
よろしくお願いいたします。
from tslearn.clustering ...
0
票
1
回答
169
閲覧数
ディープラーニングにおいて、層を深くしても学習が進むようにする方法
現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。
しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。
このような場合に有効な学習を進める方法として何が考えられるのでしょうか?
...
0
票
1
回答
1,603
閲覧数
Resource exhausted: OOM when allocating tensorエラーについて
やりたいこと
google colabを使用してYOLO-v3において画像データを学習させる。
すでにやったこと
教師画像になるデータを20枚集めてリサイズ
集めた画像をVottでアノテーションしzipとしてcolab上にあげ、unzip
YOLO用のデータに変換
Kerasで使えるように変換
詰まったところ
上記のことをやった上でtrain.pyを実行したところ以下のエラーが出ました。
...
0
票
1
回答
483
閲覧数
ディープラーニングで出力される予想が常に一定の値
ディープラーニングはかなり駆け出しです。
機械学習については基礎の基礎を勉強した程度の無知です。
ディープラーニングで時系列の予想を行いたいのですが何をしても出力結果がほぼ一定の値になってしまします。
層の数を大きく変えても、活性化関数を見直して試行錯誤しても
学習後のモデルに何を渡してもほぼ一定の値を返すようになってしまいます。
...
1
票
1
回答
2,168
閲覧数
ディープラーニングの解析結果が常に同じ値になります
売上個数予想のプログラムを作っていますが、
学習させた後MultiLayerNetwork.output(xxx)させた結果が常に同じ値になり困っています。
事前に学習データをAI.MaxInputStringLength(20)のパラメータに変換済みでそのサンプルが数万個あります。
つまり、入力は20のパラメータがあります。
今回は売上個数の予想なので出力は1つです。
(...
1
票
0
回答
51
閲覧数
loop paddingとはなんですか
機械学習で動作認識を行いたいと考えています.
学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します.
このようなデータに対してloop paddingを用いることがあるらしいのですが,
loop paddingとはどのような手法でしょうか.
loop paddingに言及している例:
https://arxiv.org/abs/1904.02422
https://...
0
票
0
回答
110
閲覧数
損失関数の呼ばれた回数を知りたいです
質問
kerasで損失関数を自作しました.その中で,損失関数が呼ばれた回数を使いたいと思いまして,以下のようにcountに逐次+1をするようにコードを書きました.しかし,最後のprint(count)の出力が1になってしまいます.
損失関数は1回しか呼ばれてないのでしょうか.
code
count = 0
def encoder(input_):
d1 = Dense(3, ...
0
票
0
回答
203
閲覧数
pytrorchをターミナルでインストールしたが、入っていない
問題点
TerminalでPytorchをinstallしたが、pip freezeで確認したところ表示されておらず、インストールしたい
使用PCはmacOS Mojave, MacBookPro
ターミナルでPytorchをinstallしたコードと結果
(tf16cpu) bash-3.2$ conda install pytorch torchvision -c pytorch
...
0
票
1
回答
147
閲覧数
cifar10_quick_train_testのプーリング層の出力が整数ではない
caffeのcifar10_quick_train_testでプーリング層の出力が
OH = (H-FH)/S + 1
(32-3)/2 + 1
29/2 + 1
以上のような計算になり
割り切れない数になると思うのですが、どのような処理が行われているのでしょうか?
https://github.com/BVLC/caffe/blob/master/examples/cifar10/...
0
票
1
回答
2,501
閲覧数
Python3 保存済みモデルの読み込み時に「Cannot create group in read only mode.」のエラーが出る
保存したVAEの学習済みモデルを新しいデータ(normal画像、anomal画像)に使いたいと考えています。
以下の通りload_modelで読み込んだのですが、「Cannot create group in read only mode.」というエラーが出てうまく読み込む事が出来ませんでした。
色々ネットで調べたところ、...