すべての質問
machine-learning or 機械学習 でタグ付けされた
194 件の質問
1
票
0
回答
45
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
254
閲覧数
chainerでvalidationが実装できません。
『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。
作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。
なお、python3.5.2、chainer6.4.0を使用しています。
以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。
変更前
...
0
票
1
回答
200
閲覧数
ディープラーニングにおいて、層を深くしても学習が進むようにする方法
現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。
しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。
このような場合に有効な学習を進める方法として何が考えられるのでしょうか?
...
0
票
1
回答
1,860
閲覧数
Resource exhausted: OOM when allocating tensorエラーについて
やりたいこと
google colabを使用してYOLO-v3において画像データを学習させる。
すでにやったこと
教師画像になるデータを20枚集めてリサイズ
集めた画像をVottでアノテーションしzipとしてcolab上にあげ、unzip
YOLO用のデータに変換
Kerasで使えるように変換
詰まったところ
上記のことをやった上でtrain.pyを実行したところ以下のエラーが出ました。
...
0
票
1
回答
842
閲覧数
ディープラーニングで出力される予想が常に一定の値
ディープラーニングはかなり駆け出しです。
機械学習については基礎の基礎を勉強した程度の無知です。
ディープラーニングで時系列の予想を行いたいのですが何をしても出力結果がほぼ一定の値になってしまします。
層の数を大きく変えても、活性化関数を見直して試行錯誤しても
学習後のモデルに何を渡してもほぼ一定の値を返すようになってしまいます。
...
1
票
1
回答
3,340
閲覧数
ディープラーニングの解析結果が常に同じ値になります
売上個数予想のプログラムを作っていますが、
学習させた後MultiLayerNetwork.output(xxx)させた結果が常に同じ値になり困っています。
事前に学習データをAI.MaxInputStringLength(20)のパラメータに変換済みでそのサンプルが数万個あります。
つまり、入力は20のパラメータがあります。
今回は売上個数の予想なので出力は1つです。
(...
1
票
0
回答
60
閲覧数
loop paddingとはなんですか
機械学習で動作認識を行いたいと考えています.
学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します.
このようなデータに対してloop paddingを用いることがあるらしいのですが,
loop paddingとはどのような手法でしょうか.
loop paddingに言及している例:
https://arxiv.org/abs/1904.02422
https://...
0
票
1
回答
308
閲覧数
SVCでload_wineのスコアを出したいのですが、エラーが出てしまいます。
まだスケール変換をする前ですが、エラーが出る意味がわかりません。
from sklearn.datasets import load_wine
from sklearn.svm import SVC
import numpy as np
from sklearn.model_selection import train_test_split
wine = load_wine()
...
0
票
0
回答
113
閲覧数
損失関数の呼ばれた回数を知りたいです
質問
kerasで損失関数を自作しました.その中で,損失関数が呼ばれた回数を使いたいと思いまして,以下のようにcountに逐次+1をするようにコードを書きました.しかし,最後のprint(count)の出力が1になってしまいます.
損失関数は1回しか呼ばれてないのでしょうか.
code
count = 0
def encoder(input_):
d1 = Dense(3, ...
0
票
0
回答
239
閲覧数
pytrorchをターミナルでインストールしたが、入っていない
問題点
TerminalでPytorchをinstallしたが、pip freezeで確認したところ表示されておらず、インストールしたい
使用PCはmacOS Mojave, MacBookPro
ターミナルでPytorchをinstallしたコードと結果
(tf16cpu) bash-3.2$ conda install pytorch torchvision -c pytorch
...
0
票
1
回答
158
閲覧数
cifar10_quick_train_testのプーリング層の出力が整数ではない
caffeのcifar10_quick_train_testでプーリング層の出力が
OH = (H-FH)/S + 1
(32-3)/2 + 1
29/2 + 1
以上のような計算になり
割り切れない数になると思うのですが、どのような処理が行われているのでしょうか?
https://github.com/BVLC/caffe/blob/master/examples/cifar10/...
0
票
1
回答
636
閲覧数
courseraのmachine learningのプログラミング課題について: warning: opengl_renderer: data values greater than float capacity
courseraのmachine learning講座をやりはじめたのですが、week2のプログラミング課題の任意課題(ex1_multi)を実行すると下記のようにwarningが発生してしまいます。
原因はなんでしょうか?宜しくお願いします。
Loading data ...
First 10 examples from the dataset:
x = [2104 3], y = ...
0
票
1
回答
224
閲覧数
訓練済みモデルの使用にはGPUはあまり重要ではない?
TensorFlowなど機械学習フレームワークを用いて訓練済みモデルを作成した時、そのモデルの使用にもGPU性能は深く関わってくるでしょうか。
また、モデルの使用時に関する用語やベンチマーク、考察などありますでしょうか?
質問の背景
現在、訓練済みモデルを使ってユーザーから送られた画像を解析するWebサービスの作成を考えているのですが、訓練時と同様にGPUパワーが必要になるなら、...
1
票
1
回答
234
閲覧数
random値の違い
いくつかのプログラミング勉強サイトで似たような問題があったので一つ例にあげて質問させていただきます。Pythonで機械学習の本(python 機械学習プログラミング)で勉強するなかで以下のサンプルコードをコピペして実行したのですが出力が異なりMisclassified samplesの数が模範解答では4になっているのに対し私は9と出力されました。...
0
票
1
回答
477
閲覧数
深層学習の層数について
深層学習や転移学習では層を深くすればするほど原理的には予測精度は高くなるのでしょうか?
現在kerasのvgg16を用いてファインチューニングを行なっていますが全結合層を三層ほどにして学習した時より一層だけで学習した時の方が精度が高くなっています。深層学習や転移学習の強みは層を深くして複雑な問題に適応できるようになる事だと思うのですが、層が浅い方が精度が高くなるのは何故なんでしょう?
0
票
1
回答
145
閲覧数
訓練データとして用いるため、英語で記された景気についてのアンケート調査のデータを入手したい
プログラミングについての質問とは少しずれているかと思うのですが、ご了承ください。
日本では内閣府が公開している景気ウォッチャー調査といった景気に敏感な人たちを対象とした景気に対する評価(5段階)とその理由のアンケートのファイルがあります。
このアンケートのアメリカ版のようなファイルが欲しいです。つまり、景気に対する評価とその理由が英語で記載されているようなファイルです。
このファイルの用途は、...
0
票
1
回答
150
閲覧数
時系列データの学習の再開方法
chainerを用いて時系列データの学習を行っております。
例えば、A1~A99までのデータでEPOCH:100くらいで繰り返し学習させてモデルを作成。
次のデータ(仮にQ100とします)を予想します。
モデルは保存しておいて、実際のA100が解ったらQ100との違いを損失関数を通してモデルに反映。
Q101を予想します。
とまあ、ここまでは良いのですが。
Q100とA100の差を学習する際、...
0
票
1
回答
526
閲覧数
Pythonで、libjpegをインストールする方法が分かりません。
エラーは以下のようになっています。
RuntimeError Traceback (most recent call last)
<ipython-input-163-bc99f0644372> in <module>()
2 import matplotlib.pyplot as plt
...
0
票
0
回答
742
閲覧数
Conditional GANの学習がうまくいかない
現在kerasチームが公開しているconditional GANのコードhttps://github.com/eriklindernoren/Keras-GAN/blob/master/cgan/cgan.pyを元にし,1次元データを入力とするConditional GANの実装を目指しています.そこで,Discriminatorの識別精度が100%近くになり,...
0
票
0
回答
353
閲覧数
Kerasで畳み込みネットワークの学習 精度の上がり方について
私は畳み込みネットワークを用いて画像の識別をしています.
実際にプログラムを動かしていくと,下の画像のように動作の開始直後はなかなか精度が上がらず,途中から急に精度が上昇し始めました.どういった原因が考えられるでしょうか.
回答よろしくお願いします.
0
票
0
回答
633
閲覧数
tensolflowでmnistの学習 データの正規化について
私は詳解ディープラーニングという書籍を使いtensorflowの学習を行っています.
そこで疑問なのですが,データを正規化させて重みにも1/√nをかけて実行したのですが正解率が正規化する前よりも下がってしまいまいした.その理由がわからないので教えていただきたいです.
自分では,重みの初期値の設定の仕方が間違っている可能性があると思っていますが,具体的にどう間違っているのかがわかりません.
...
0
票
1
回答
534
閲覧数
相関行列の計算の流れが理解できない
相関行列の計算の流れが理解できないです。
# 相関行列を作成
R = np.corrcoef(X.T)
# 対角成分を0にする
_R = R - np.identity(10)
#最大相関係数をとるインデックスを取得
index = np.where(_R == _R.max())[0]
という流れで相関行列の計算を行うと思うのですが、...
1
票
1
回答
628
閲覧数
KeyError: 'PClass'の対処法
先ほど質問させて頂いた者です。回答者様のアドバイスを受けて修正したところ、一部ですがこのようなエラーが出ました。これはどういったエラーなのでしょうか?対処法を教えて頂きたいです。
from google.colab import files
upload = files.upload()
from google.colab import files
upload = files.upload()...
0
票
1
回答
2,745
閲覧数
雑誌の通りにコードしたのですがNameError: name 'PClass' is not definedと出てしまった
機械学習の雑誌からpythonを始めた超初心者でKaggleのタイタニック号生存者予想をやっているのですが、雑誌の通りにコードしたのですが後半のグラフを作るときのコードがNameError: name 'PClass' is not definedと出てしまい、行き詰ってしまいました・・・
どなたか解決策をお願いします...
ちなみに、雑誌は日経ソフトウェアの「タイタニックでデータ分析の特集」で、...
0
票
0
回答
188
閲覧数
ニューラルネットで似たような値ばかり推定する原因
最近機械学習を始めたものです.
以下のような条件でKerasを使用してニューラルネットを構築したのですが
思うような結果が得られません.
入力:7次元/出力:2次元
入力は0,1,2,3のスコアで出力は50~110の間で5刻みの値
全データ数は1000件ほどで入力から出力を推定する回帰学習
画像がその出力結果です
推定精度が高ければ高いほど対角線上にプロットされるという評価指標です
...
1
票
1
回答
708
閲覧数
Chainerでオートエンコーダーを作る際にTypeError: Unsupported type <class 'NoneType'>というエラー
Chainerをつかって、pythonで自己符号器をつくろうとしています。次のようなコードを書いて実行しました。
class Autoencoder(Chain):
def __init__(self):
super().__init__()
with self.init_scope():
self.l1 = L.Linear(3,2)
...
1
票
2
回答
1,187
閲覧数
画像データが格納されたテンソルの扱い方
TensorFlowで画像処理を行いたい初心者です。
機械学習ネットワークから出力される、64×64の画像20枚分のテンソル[20,64,64,3]に対してある処理を行い、新たなテンソル[20,64,64,1]を求めたいのですが、適切な操作がわからず困っております。
やりたい処理としては、画像一枚の4×4のパッチ領域でRGBチャネル内の一番小さい値を見つけ出し、...
1
票
1
回答
1,064
閲覧数
分類確率とデータの出力方法
機械学習を勉強している大学生です。
python,tensorflow,kerasを用いて2クラス分類を行うプログラムを書いています。
分類確率をmodel.predictで出すことはできるのですが、
その確率値がどのデータに対するものなのかを出力する方法がわかりません。
以下は確率値を出すための部分的なプログラムです。
result = model.predict(X_test)
...
2
票
0
回答
46
閲覧数
『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由
とてもピンポイントな質問で申し訳ありませんが、
『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の
2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。
p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、
これをp(x_i | π)=Multi(x_i | π)と表記する。
ここで、...
0
票
0
回答
170
閲覧数
RDBに保存された画像データから類似画像を検索する方法
RDBに画像から抽出した特徴ベクトルと画像のパスを保存しています。
指定の画像と類似した画像を検索したいのですがselectで絞り込む方法がわかりません。
手動でタグ付けして絞り込むしかないんでしょうか?
0
票
1
回答
4,587
閲覧数
csvファイルがうまくダウンロードできない場合の対処法につきまして
機械学習初心者の学生です。
電力データ分析を行おうと思い、下記リンクにアクセスしたのですが、
なぜかcsvファイルがダウンロードできず、web上に表示されるだけでした。
http://www.tepco.co.jp/forecast/html/images/juyo-2018.csv
web上の情報をコピペしてエクセルに貼り付けたのですが、複数の情報が1セルにまとめられて表示されてしまいます。
...
0
票
1
回答
1,438
閲覧数
pythonで変数が次のコードへ継承されません
autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。
しかしながら、
Using TensorFlow backend.
Traceback (most recent call last):
File "/home/yudai/Desktop/keras_test.py", line 19, in
model = ae(len(...
0
票
1
回答
187
閲覧数
syntaxErrorが出ます
autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。
しかしながら、
File "/home/yudai/Desktop/keras_test.py", line 24
loaded_model = model_from json(loaded_model_json)
^
SyntaxError: ...
0
票
1
回答
944
閲覧数
kerasで同じコードでIndexErrorとAttributeErrorがでます
自力で単純なautoencoderを頑張って書いてみました。
しかし、
C:\Users\yudai\Desktop\keras_AE.py:62: UserWarning: Update your `Model` call to the Keras 2 API: `Model(inputs=Tensor("in..., outputs=Tensor("de...)`
...
0
票
1
回答
1万
閲覧数
pythonでRuntimeErrorが出ます
以下のコードを動かそうと思っているのですが、
エラーが出力されてしまいます。
もしよろしければ、ご教授よろしくお願いいたします
何卒、よろしくお願いいたします。
python3 '/home/hoge/train.py'
Traceback (most recent call last):
File "/home/hoge/train.py", line 56, in
...
3
票
1
回答
538
閲覧数
CNNによる画像分類における、学習とは?
私はpython言語で書かれたkerasを用いて、画像分類を行っていますが、学習と判別がどのように行われているのか、仕組みが分かりません。
例えば、MNISTのデータセットをDLし、モデルを構築後、下記のコードを入力したとします。訓練データが54000枚、validation splitの値を0.1に設定しバリデーションデータが6000枚あります。
model.compile(
loss='...
0
票
1
回答
126
閲覧数
Leave One Site Outの使い方
一体どのように使えばいいのでしょう?
from sklearn.cross_validation import LeaveOneOut
from sklearn.model_selection import LeaveOneGroupOut
というようにインポートしたいのですが、ネット上でいくら探してもそれらしい記事が見つからず、お力をお借りしたいです
0
票
1
回答
7,861
閲覧数
Pytorch 0.2.1をバージョンダウンする方法
困っていること
下記の問題のgithubでget_dataset.py、data_util.py、train.pyを実行した結果、
RuntimeError: dimension specified as 0 but tensor has no dimensions
と出力されます。
get_dataset.py
では、
re.findall("<p>.*</p>",...
1
票
1
回答
2万
閲覧数
『Pythonではじめる機械学習』の mglearn を使いたいが、not defined となる
今オライリー・ジャパンの「Pythonではじめる機械学習」という本で機械学習の勉強を始めています。そこで、GitHubにあるmglearnというライブラリを入手したいのですが、やり方が分からず困っています。Download ZIPというボタンを押して保存したりしているのですが、うまくいきません。できるだけ詳しく教えていただけると助かります。mglearnのリンク先は下です。
https://...
1
票
1
回答
463
閲覧数
特徴量として使えるデータを平均の差から見つけ出す方法
クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。
複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。
その際の「平均の差を比較する」方法がわかりません。
例えば、高校のクラスが2つ(A組、B組)あったとし、
それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
票
1
回答
727
閲覧数
DeepLearningの学習データ(jpeg、raw)と組み込みシステムについて
私は画像を使ったディープラーニングについて勉強しています。
今回疑問があり皆様の意見を聞きたく投稿しました。
一般的にWebの画像認識に使用する学習データは容量を少なくする為、jpeg画像が多いと思います。
しかし、組み込みシステムで使用するカメラ画像は圧縮せずにraw形式の画像をメモリに保存し認識処理すると思います。
ここで、Web上の学習モデル(jpeg)を使用した場合、...
6
票
1
回答
592
閲覧数
LSTMをPythonで
最近、RNNについて勉強しています。今ちょうど、LSTMについて勉強しているところなのですが、tensorflowやkerasの使い方はなんとなく分かるけれど応用できるほどの技量はないので、イメージを膨らますためにもとりあえずPythonのnumpyのみでコードを書いてみようと思いました。一応、入出力ゲート、忘却ゲート、CEC、覗き穴結合などを搭載した自作LSTMを作ってみたのですが、...
0
票
1
回答
245
閲覧数
他クラス線形回帰に対する最急降下法
タイトル通り線形回帰に対して最急降下法を行いました。もちろん解析的に解は出せるんですが、それはここでは置いておいてください。
目的関数は
$$ \frac{1}{2} \| Xb - y \|_2^2 $$
であり、その勾配は
$$ X^T X b - X^T y $$
となります。これを用いて最急降下法を行いましたが、最小化されません。むしろコストが上がっていきます。
import ...
1
票
1
回答
2,025
閲覧数
pythonでTFlearnがインポートできないです。
Mac book で『初めてのTensorFlow』と言う本にしたがってTFlearnをインストールしたのですがいざpythonでインポートしようとすると下のような表示が出てしまいます。
解決方法をぜひ教えていただきたいです。
よろしくお願いします。
Shiraishi-Sadaaki-no-Macbook-ea:~ shiraishisadaaki$ python
Python 3.5.0 (...
2
票
3
回答
134
閲覧数
AzureのMachine Learningの学習モジュールの使い分けについて
先週から機械学習を勉強し始めた、テクノロジーにかなり疎いOLです
基本的な質問ですみません
AzureのMachine Learningで来客数予測をするべく勉強を始めたのですが、
学習モジュールの使い分け方法がわからなくて行き詰まっております
同じ線形回帰であっても
Liner RegressionとBayesian Liner Regressionはどう使いわけするのか
(...
1
票
1
回答
1,061
閲覧数
Word2Vecにおけるマイナスの概念について
Word2Vecでsimilarityの値がマイナスになるのはどうしてなのでしょうか?
たとえば、次のコードを実行した時に、meowが-0.018となり、マイナスになっています。
この場合100次元空間のベクトルの内積ですから、マイナスではなくてプラスになると思っています。
今回はmeowだけでしたが、sizeのパラメーターを変更すると他のものもマイナスになったりします。
ソースコード
# ...
0
票
1
回答
328
閲覧数
Kernel K-means 実装 in Python
環境: Mac, Jupyter-Notebook, Python2.7
Kernel K-meansを実装したんですが、うまく動作しません。コードにエラーは出ません。どこかの計算が間違っているんだと思いますが、どこかわからないので誰か助けてください。
Algorithmについてはこちらがわかりやすいかと思います
Link_01
Link_02
とりあえずデータを貼ります、...
0
票
1
回答
240
閲覧数
Global K-means 実装がうまくいかない
環境: Jupyter Notebook, Macbook air, Python2.7
Global K-meansを実装したんですが、アルゴリズムがうまく働いていないのでそれについて質問させてもらいました。K=3以上のクラスタリングになるとなぜかcentroidが近くに設置されます。どこがおかしいんでしょうか?
アルゴリズムについてはHEREスライドの12,13ページにあります。
...
0
票
1
回答
610
閲覧数
DataFrameを用いてカテゴリカル変数を1特徴量の量的変数に変換する方法
後述のようなsample.csvを読み込んだDataFrame dfがあったときに、カテゴリカルな変数であるresidenceに一位のラベルを自動的にふるよい方法があれば教えてください。
pandas.get_dummies(df)を用いるとそれっぽいことができなくはないですが、東京カラム、神奈川カラム、、、などと特徴量の変数の数だけ、新しい特徴量ができ、それらが0,1になってしまいます。
...
4
票
1
回答
2,919
閲覧数
Pythonを使ってロジスティック回帰したときのP値
Python、機械学習についてここ1週間くらいでやりはじめた初心者です。
とても初歩的な質問で申し訳ありませんが、何卒お願いします。
Pythonを使ってロジスティック回帰分析をしようと思っています。
以下のようなユーザーデータを持っています。
年齢・性別・年収と、購入したかどうかの0or1のフラグです。
ユーザid, 年齢, 性別, 年収, 購入フラグ
1 , 30, ...