[機械学習] タグが付いた質問

学習データから学習させ、新しい(未知の)データについての分類・推測などを行うための情報技術分野。についての質問。

絞り込み
並べ替え
タグ付けされた
1
1 回答
200 閲覧数

random値の違い

いくつかのプログラミング勉強サイトで似たような問題があったので一つ例にあげて質問させていただきます。Pythonで機械学習の本(python 機械学習プログラミング)で勉強するなかで以下のサンプルコードをコピペして実行したのですが出力が異なりMisclassified samplesの数が模範解答では4になっているのに対し私は9と出力されました。...
  • 11
0
1 回答
391 閲覧数

深層学習の層数について

深層学習や転移学習では層を深くすればするほど原理的には予測精度は高くなるのでしょうか? 現在kerasのvgg16を用いてファインチューニングを行なっていますが全結合層を三層ほどにして学習した時より一層だけで学習した時の方が精度が高くなっています。深層学習や転移学習の強みは層を深くして複雑な問題に適応できるようになる事だと思うのですが、層が浅い方が精度が高くなるのは何故なんでしょう?
0
1 回答
140 閲覧数

時系列データの学習の再開方法

chainerを用いて時系列データの学習を行っております。 例えば、A1~A99までのデータでEPOCH:100くらいで繰り返し学習させてモデルを作成。 次のデータ(仮にQ100とします)を予想します。 モデルは保存しておいて、実際のA100が解ったらQ100との違いを損失関数を通してモデルに反映。 Q101を予想します。 とまあ、ここまでは良いのですが。 Q100とA100の差を学習する際、...
0
1 回答
350 閲覧数

Pythonで、libjpegをインストールする方法が分かりません。

エラーは以下のようになっています。 RuntimeError Traceback (most recent call last) <ipython-input-163-bc99f0644372> in <module>() 2 import matplotlib.pyplot as plt ...
0
0 回答
649 閲覧数

Conditional GANの学習がうまくいかない

現在kerasチームが公開しているconditional GANのコードhttps://github.com/eriklindernoren/Keras-GAN/blob/master/cgan/cgan.pyを元にし,1次元データを入力とするConditional GANの実装を目指しています.そこで,Discriminatorの識別精度が100%近くになり,...
0
0 回答
314 閲覧数

Kerasで畳み込みネットワークの学習 精度の上がり方について

私は畳み込みネットワークを用いて画像の識別をしています. 実際にプログラムを動かしていくと,下の画像のように動作の開始直後はなかなか精度が上がらず,途中から急に精度が上昇し始めました.どういった原因が考えられるでしょうか. 回答よろしくお願いします.
0
0 回答
614 閲覧数

tensolflowでmnistの学習 データの正規化について

私は詳解ディープラーニングという書籍を使いtensorflowの学習を行っています. そこで疑問なのですが,データを正規化させて重みにも1/√nをかけて実行したのですが正解率が正規化する前よりも下がってしまいまいした.その理由がわからないので教えていただきたいです. 自分では,重みの初期値の設定の仕方が間違っている可能性があると思っていますが,具体的にどう間違っているのかがわかりません. ...
1
1 回答
521 閲覧数

KeyError: 'PClass'の対処法

先ほど質問させて頂いた者です。回答者様のアドバイスを受けて修正したところ、一部ですがこのようなエラーが出ました。これはどういったエラーなのでしょうか?対処法を教えて頂きたいです。 from google.colab import files upload = files.upload() from google.colab import files upload = files.upload()...
0
1 回答
2,174 閲覧数

雑誌の通りにコードしたのですがNameError: name 'PClass' is not definedと出てしまった

機械学習の雑誌からpythonを始めた超初心者でKaggleのタイタニック号生存者予想をやっているのですが、雑誌の通りにコードしたのですが後半のグラフを作るときのコードがNameError: name 'PClass' is not definedと出てしまい、行き詰ってしまいました・・・ どなたか解決策をお願いします... ちなみに、雑誌は日経ソフトウェアの「タイタニックでデータ分析の特集」で、...
1
1 回答
171 閲覧数

機械学習を用いた各パラメータの重要度評価について

フリーソフト「Orange」を用いて機械学習を行っている大学生です. 現在,3つの入力値に対して6つの出力値が得られる問題について扱っています. どのパラメータがそれぞれの出力値に対してどの程度寄与するのかを数値として知りたい(*)のですが,どの評価を用いてどのように考察していけばよいのか全く分かりません. まず,(i)各特徴量の重要度(寄与率?)...
  • 11
2
2 回答
146 閲覧数

分類問題における評価方法について

機械学習を研究で初めてまだ初心者です。研究で4クラス分類の問題を扱っててaccuracyやprecisionやrecallを算出したいです。 データ数が少ない(30件ほど)で分割のされ方によってスコアにかなり影響を受けてしまいます。交差検証したときのばらつきが大きくて(例えばaccuracyが[0.83333333 0.72727273 0.44444444]など)評価方法に困っています。...
0
0 回答
140 閲覧数

ニューラルネットで似たような値ばかり推定する原因

最近機械学習を始めたものです. 以下のような条件でKerasを使用してニューラルネットを構築したのですが 思うような結果が得られません. 入力:7次元/出力:2次元 入力は0,1,2,3のスコアで出力は50~110の間で5刻みの値 全データ数は1000件ほどで入力から出力を推定する回帰学習 画像がその出力結果です 推定精度が高ければ高いほど対角線上にプロットされるという評価指標です ...
1
1 回答
689 閲覧数

Chainerでオートエンコーダーを作る際にTypeError: Unsupported type <class 'NoneType'>というエラー

Chainerをつかって、pythonで自己符号器をつくろうとしています。次のようなコードを書いて実行しました。 class Autoencoder(Chain): def __init__(self): super().__init__() with self.init_scope(): self.l1 = L.Linear(3,2) ...
1
2 回答
1,032 閲覧数

画像データが格納されたテンソルの扱い方

TensorFlowで画像処理を行いたい初心者です。 機械学習ネットワークから出力される、64×64の画像20枚分のテンソル[20,64,64,3]に対してある処理を行い、新たなテンソル[20,64,64,1]を求めたいのですが、適切な操作がわからず困っております。 やりたい処理としては、画像一枚の4×4のパッチ領域でRGBチャネル内の一番小さい値を見つけ出し、...
0
1 回答
140 閲覧数

訓練データとして用いるため、英語で記された景気についてのアンケート調査のデータを入手したい

プログラミングについての質問とは少しずれているかと思うのですが、ご了承ください。 日本では内閣府が公開している景気ウォッチャー調査といった景気に敏感な人たちを対象とした景気に対する評価(5段階)とその理由のアンケートのファイルがあります。 このアンケートのアメリカ版のようなファイルが欲しいです。つまり、景気に対する評価とその理由が英語で記載されているようなファイルです。 このファイルの用途は、...
  • 37
2
0 回答
45 閲覧数

『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由

とてもピンポイントな質問で申し訳ありませんが、 『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の 2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。 p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、 これをp(x_i | π)=Multi(x_i | π)と表記する。 ここで、...
1
1 回答
942 閲覧数

分類確率とデータの出力方法

機械学習を勉強している大学生です。 python,tensorflow,kerasを用いて2クラス分類を行うプログラムを書いています。 分類確率をmodel.predictで出すことはできるのですが、 その確率値がどのデータに対するものなのかを出力する方法がわかりません。 以下は確率値を出すための部分的なプログラムです。 result = model.predict(X_test) ...
0
0 回答
158 閲覧数

RDBに保存された画像データから類似画像を検索する方法

RDBに画像から抽出した特徴ベクトルと画像のパスを保存しています。 指定の画像と類似した画像を検索したいのですがselectで絞り込む方法がわかりません。 手動でタグ付けして絞り込むしかないんでしょうか?
0
1 回答
3,985 閲覧数

csvファイルがうまくダウンロードできない場合の対処法につきまして

機械学習初心者の学生です。 電力データ分析を行おうと思い、下記リンクにアクセスしたのですが、 なぜかcsvファイルがダウンロードできず、web上に表示されるだけでした。 http://www.tepco.co.jp/forecast/html/images/juyo-2018.csv web上の情報をコピペしてエクセルに貼り付けたのですが、複数の情報が1セルにまとめられて表示されてしまいます。 ...
  • 131
0
1 回答
1,235 閲覧数

pythonで変数が次のコードへ継承されません

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。 しかしながら、 Using TensorFlow backend. Traceback (most recent call last): File "/home/yudai/Desktop/keras_test.py", line 19, in model = ae(len(...
0
1 回答
177 閲覧数

syntaxErrorが出ます

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。 しかしながら、 File "/home/yudai/Desktop/keras_test.py", line 24 loaded_model = model_from json(loaded_model_json) ^ SyntaxError: ...
0
1 回答
876 閲覧数

kerasで同じコードでIndexErrorとAttributeErrorがでます

自力で単純なautoencoderを頑張って書いてみました。 しかし、 C:\Users\yudai\Desktop\keras_AE.py:62: UserWarning: Update your `Model` call to the Keras 2 API: `Model(inputs=Tensor("in..., outputs=Tensor("de...)` ...
2
1 回答
479 閲覧数

CNNによる画像分類における、学習とは?

私はpython言語で書かれたkerasを用いて、画像分類を行っていますが、学習と判別がどのように行われているのか、仕組みが分かりません。 例えば、MNISTのデータセットをDLし、モデルを構築後、下記のコードを入力したとします。訓練データが54000枚、validation splitの値を0.1に設定しバリデーションデータが6000枚あります。 model.compile( loss='...
  • 23
0
1 回答
8,526 閲覧数

pythonでRuntimeErrorが出ます

以下のコードを動かそうと思っているのですが、 エラーが出力されてしまいます。 もしよろしければ、ご教授よろしくお願いいたします 何卒、よろしくお願いいたします。 python3 '/home/hoge/train.py' Traceback (most recent call last): File "/home/hoge/train.py", line 56, in ...
0
1 回答
119 閲覧数

Leave One Site Outの使い方

一体どのように使えばいいのでしょう? from sklearn.cross_validation import LeaveOneOut from sklearn.model_selection import LeaveOneGroupOut というようにインポートしたいのですが、ネット上でいくら探してもそれらしい記事が見つからず、お力をお借りしたいです
0
1 回答
5,367 閲覧数

Pytorch 0.2.1をバージョンダウンする方法

困っていること 下記の問題のgithubでget_dataset.py、data_util.py、train.pyを実行した結果、 RuntimeError: dimension specified as 0 but tensor has no dimensions と出力されます。 get_dataset.py では、 re.findall("<p>.*</p>",...
  • 21
1
1 回答
2万 閲覧数

『Pythonではじめる機械学習』の mglearn を使いたいが、not defined となる

今オライリー・ジャパンの「Pythonではじめる機械学習」という本で機械学習の勉強を始めています。そこで、GitHubにあるmglearnというライブラリを入手したいのですが、やり方が分からず困っています。Download ZIPというボタンを押して保存したりしているのですが、うまくいきません。できるだけ詳しく教えていただけると助かります。mglearnのリンク先は下です。 https://...
1
1 回答
385 閲覧数

特徴量として使えるデータを平均の差から見つけ出す方法

クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。 複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。 その際の「平均の差を比較する」方法がわかりません。 例えば、高校のクラスが2つ(A組、B組)あったとし、 それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
5
1 回答
522 閲覧数

LSTMをPythonで

最近、RNNについて勉強しています。今ちょうど、LSTMについて勉強しているところなのですが、tensorflowやkerasの使い方はなんとなく分かるけれど応用できるほどの技量はないので、イメージを膨らますためにもとりあえずPythonのnumpyのみでコードを書いてみようと思いました。一応、入出力ゲート、忘却ゲート、CEC、覗き穴結合などを搭載した自作LSTMを作ってみたのですが、...
  • 451
1
2 回答
1,034 閲覧数

時系列の特徴量の作成の仕方

機械学習における、時系列の特徴量作成に関して質問です。 以下の添付した画像から、例えば ・Morning直後はある値が増加傾向にある。 ・NoonもMorningと比べて大きな変化量はないが、増加傾向にある。 ・Eveningも大きな変化量はないが、増加傾向にある。 こういった事実現象を時系列の特徴量として、表現するにはどういった方法がありますでしょうか 機械学習に精通している皆様方、...
0
1 回答
235 閲覧数

他クラス線形回帰に対する最急降下法

タイトル通り線形回帰に対して最急降下法を行いました。もちろん解析的に解は出せるんですが、それはここでは置いておいてください。 目的関数は $$ \frac{1}{2} \| Xb - y \|_2^2 $$ であり、その勾配は $$ X^T X b - X^T y $$ となります。これを用いて最急降下法を行いましたが、最小化されません。むしろコストが上がっていきます。 import ...
user avatar
0
1 回答
272 閲覧数

SVCでload_wineのスコアを出したいのですが、エラーが出てしまいます。

まだスケール変換をする前ですが、エラーが出る意味がわかりません。 from sklearn.datasets import load_wine from sklearn.svm import SVC import numpy as np from sklearn.model_selection import train_test_split wine = load_wine() ...
1
2 回答
1,948 閲覧数

ディープラーニングにおいて、データ数が少ない場合の過学習が起きているかどうかの判断

CNNとRNNを組み合わせたモデルで動画分類を行っているのですが、訓練データがほぼ100%の正解率が出るのに対して、テストデータでは正解率が低いです。 ただ、過学習している時の典型的なグラフのようにテストデータの正解率が途中からどんどん下がるようなことは見られませんでした。 現在手元にあるデータ数は50程度で、かなり少なく、データ間の分散が比較的大きいです。 ...
  • 123
1
1 回答
567 閲覧数

DeepLearningの学習データ(jpeg、raw)と組み込みシステムについて

私は画像を使ったディープラーニングについて勉強しています。 今回疑問があり皆様の意見を聞きたく投稿しました。 一般的にWebの画像認識に使用する学習データは容量を少なくする為、jpeg画像が多いと思います。 しかし、組み込みシステムで使用するカメラ画像は圧縮せずにraw形式の画像をメモリに保存し認識処理すると思います。 ここで、Web上の学習モデル(jpeg)を使用した場合、...
2
3 回答
133 閲覧数

AzureのMachine Learningの学習モジュールの使い分けについて

先週から機械学習を勉強し始めた、テクノロジーにかなり疎いOLです 基本的な質問ですみません AzureのMachine Learningで来客数予測をするべく勉強を始めたのですが、 学習モジュールの使い分け方法がわからなくて行き詰まっております 同じ線形回帰であっても Liner RegressionとBayesian Liner Regressionはどう使いわけするのか (...
1
1 回答
938 閲覧数

Word2Vecにおけるマイナスの概念について

Word2Vecでsimilarityの値がマイナスになるのはどうしてなのでしょうか? たとえば、次のコードを実行した時に、meowが-0.018となり、マイナスになっています。 この場合100次元空間のベクトルの内積ですから、マイナスではなくてプラスになると思っています。 今回はmeowだけでしたが、sizeのパラメーターを変更すると他のものもマイナスになったりします。 ソースコード # ...
0
1 回答
300 閲覧数

Kernel K-means 実装 in Python

環境: Mac, Jupyter-Notebook, Python2.7 Kernel K-meansを実装したんですが、うまく動作しません。コードにエラーは出ません。どこかの計算が間違っているんだと思いますが、どこかわからないので誰か助けてください。 Algorithmについてはこちらがわかりやすいかと思います Link_01 Link_02 とりあえずデータを貼ります、...
user avatar
0
1 回答
201 閲覧数

Global K-means 実装がうまくいかない

環境: Jupyter Notebook, Macbook air, Python2.7 Global K-meansを実装したんですが、アルゴリズムがうまく働いていないのでそれについて質問させてもらいました。K=3以上のクラスタリングになるとなぜかcentroidが近くに設置されます。どこがおかしいんでしょうか? アルゴリズムについてはHEREスライドの12,13ページにあります。 ...
user avatar
0
1 回答
606 閲覧数

courseraのmachine learningのプログラミング課題について: warning: opengl_renderer: data values greater than float capacity

courseraのmachine learning講座をやりはじめたのですが、week2のプログラミング課題の任意課題(ex1_multi)を実行すると下記のようにwarningが発生してしまいます。 原因はなんでしょうか?宜しくお願いします。 Loading data ... First 10 examples from the dataset: x = [2104 3], y = ...
0
1 回答
562 閲覧数

DataFrameを用いてカテゴリカル変数を1特徴量の量的変数に変換する方法

後述のようなsample.csvを読み込んだDataFrame dfがあったときに、カテゴリカルな変数であるresidenceに一位のラベルを自動的にふるよい方法があれば教えてください。 pandas.get_dummies(df)を用いるとそれっぽいことができなくはないですが、東京カラム、神奈川カラム、、、などと特徴量の変数の数だけ、新しい特徴量ができ、それらが0,1になってしまいます。 ...
0
1 回答
505 閲覧数

pythonのhmmlearnについて

http://keik-117.hatenablog.com/entry/2016/07/05/213903 こちらのサイトのコードを上から入力していき、 X, Z = model.sample(10) を実行したのですが、 >>> X array([[ 0.75706838, -0.1280334 ], [ 10.3137587 , 10....
1
1 回答
1,851 閲覧数

pythonでTFlearnがインポートできないです。

Mac book で『初めてのTensorFlow』と言う本にしたがってTFlearnをインストールしたのですがいざpythonでインポートしようとすると下のような表示が出てしまいます。 解決方法をぜひ教えていただきたいです。 よろしくお願いします。 Shiraishi-Sadaaki-no-Macbook-ea:~ shiraishisadaaki$ python Python 3.5.0 (...
  • 11
1
0 回答
168 閲覧数

深層学習におけるハイパパラメータの最適化の、パラメータ選定順序について

ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。 例えばあるCNNに対して以下の探索を行うとします。 ・最適な層数 ・フィルタの次元(枚数、解像度) ・入力画像の解像度 ・活性化関数 ・学習アルゴリズム ...
  • 131
2
0 回答
311 閲覧数

deep-learning-modelsの画像認識時間

下記のサイトを見ながら画像認識を試しています。 Raspberry Pi 深層学習ライブラリで物体認識 (Keras with TensorFlow・Open CV) 学習済みモデルh5とjsonをダウンロードして同じ階層に置き、inception_v3のh5のリンク先をローカルに書き換えました。 WEIGHTS_PATH = '...
  • 21
0
1 回答
935 閲覧数

Kaggleで「エキスパート」Tierになれる基準は何ですか?

Kaggleとは Kaggleのサイトへ行くと一番上に書かれていますが「The Home of Data Science & Machine Learning」(データサイエンスと機械学習の家)と題されている通り、世界中の機械学習・データサイエンスに携わっている約40万人の方が集まるコミニティーです。 https://www.kaggle.com/ エキスパートとは ...
4
0 回答
153 閲覧数

Xgboostの数学的背景について質問

XGboostの数学的背景について質問です。 Xgboostではロス関数の最小化の際に、 同関数をテイラー展開してから最適解を解くかと思います(Newton法)。 しかし、Newton法は、そもそも対象となる関数が2階微分できないと使用できない、 ヘッセ行列の正定値性が確保されないと使えないなどの欠点があったかと思います。 これについて同メソッドではどのようにクリアしているのでしょうか? ...
  • 61
3
1 回答
2,732 閲覧数

Pythonを使ってロジスティック回帰したときのP値

Python、機械学習についてここ1週間くらいでやりはじめた初心者です。 とても初歩的な質問で申し訳ありませんが、何卒お願いします。 Pythonを使ってロジスティック回帰分析をしようと思っています。 以下のようなユーザーデータを持っています。 年齢・性別・年収と、購入したかどうかの0or1のフラグです。 ユーザid, 年齢, 性別, 年収, 購入フラグ 1 , 30, ...
  • 47
1
1 回答
117 閲覧数

scikit-learn(決定木回帰)のAPIについて

scikit-learn の決定木を使った回帰についての質問です。 同アルゴリズムでは、 予測の精度を表す.score と 特徴量の重要性を表す .features_importances_ が あるかと思いますが、 回帰においてはそれぞれどのように算出されているのでしょうか? 分類であれば、前者は正しく分類できた割合 後者は不純度を大きく下げた特徴量ということになると記憶していますが・・・ ...
0
1 回答
973 閲覧数

TensorFlow object detection api SSD 転移学習: クラス数を変化させた時に学習済みモデルを使ったクラス層の重みの初期化はどのように行われているのか

Tensorflow object detection api でSSDモデルを学習させる時、fine-tune checkpointとして学習済みモデルを指定できますが、 feature-extractor にしか学習済みの重みは反映されず、feature-map 内の localization層と classification層の重みは初期化されているようでした。feature-map ...
0
1 回答
454 閲覧数

相関行列の計算の流れが理解できない

相関行列の計算の流れが理解できないです。 # 相関行列を作成 R = np.corrcoef(X.T) # 対角成分を0にする _R = R - np.identity(10) #最大相関係数をとるインデックスを取得 index = np.where(_R == _R.max())[0] という流れで相関行列の計算を行うと思うのですが、...
  • 1