Skip to main content

すべての質問

or でタグ付けされた
194 件の質問
絞り込み
並べ替え
タグ付けされた
1
0 回答
45 閲覧数

自然言語処理のデータセットについて

以下のように,単語と文にマルチラベルが付与されているデータセットを探しています. < text > it be very overpriced and not very tasty < wrd-label > non non non non [food,price] non non non [food] < stc-label > [food, price] ...
1
0 回答
254 閲覧数

chainerでvalidationが実装できません。

『Chainerで作るコンテンツ自動生成AIプログラミング入門』という書籍の第3章を参考に、超解像画像生成のためのCNNを作成しています。 作成中のプログラムにvalidationを実装しようとしましたが、エラーが出てしまいました。 なお、python3.5.2、chainer6.4.0を使用しています。 以下に、変更前のプログラム、変更後のプログラム、エラー文をのせておきます。 変更前 ...
0
1 回答
200 閲覧数

ディープラーニングにおいて、層を深くしても学習が進むようにする方法

現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。 モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。 しかし、現状CNNは4層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。 このような場合に有効な学習を進める方法として何が考えられるのでしょうか? ...
0
1 回答
1,860 閲覧数

Resource exhausted: OOM when allocating tensorエラーについて

やりたいこと google colabを使用してYOLO-v3において画像データを学習させる。 すでにやったこと 教師画像になるデータを20枚集めてリサイズ 集めた画像をVottでアノテーションしzipとしてcolab上にあげ、unzip YOLO用のデータに変換 Kerasで使えるように変換 詰まったところ 上記のことをやった上でtrain.pyを実行したところ以下のエラーが出ました。 ...
0
1 回答
842 閲覧数

ディープラーニングで出力される予想が常に一定の値

ディープラーニングはかなり駆け出しです。 機械学習については基礎の基礎を勉強した程度の無知です。 ディープラーニングで時系列の予想を行いたいのですが何をしても出力結果がほぼ一定の値になってしまします。 層の数を大きく変えても、活性化関数を見直して試行錯誤しても 学習後のモデルに何を渡してもほぼ一定の値を返すようになってしまいます。 ...
1
1 回答
3,340 閲覧数

ディープラーニングの解析結果が常に同じ値になります

売上個数予想のプログラムを作っていますが、 学習させた後MultiLayerNetwork.output(xxx)させた結果が常に同じ値になり困っています。 事前に学習データをAI.MaxInputStringLength(20)のパラメータに変換済みでそのサンプルが数万個あります。 つまり、入力は20のパラメータがあります。 今回は売上個数の予想なので出力は1つです。 (...
1
0 回答
60 閲覧数

loop paddingとはなんですか

機械学習で動作認識を行いたいと考えています. 学習にUCF11を用いたいのですが,一部フレーム数が少ないデータが存在します. このようなデータに対してloop paddingを用いることがあるらしいのですが, loop paddingとはどのような手法でしょうか. loop paddingに言及している例: https://arxiv.org/abs/1904.02422 https://...
0
1 回答
308 閲覧数

SVCでload_wineのスコアを出したいのですが、エラーが出てしまいます。

まだスケール変換をする前ですが、エラーが出る意味がわかりません。 from sklearn.datasets import load_wine from sklearn.svm import SVC import numpy as np from sklearn.model_selection import train_test_split wine = load_wine() ...
0
0 回答
113 閲覧数

損失関数の呼ばれた回数を知りたいです

質問 kerasで損失関数を自作しました.その中で,損失関数が呼ばれた回数を使いたいと思いまして,以下のようにcountに逐次+1をするようにコードを書きました.しかし,最後のprint(count)の出力が1になってしまいます. 損失関数は1回しか呼ばれてないのでしょうか. code count = 0 def encoder(input_): d1 = Dense(3, ...
0
0 回答
239 閲覧数

pytrorchをターミナルでインストールしたが、入っていない

問題点 TerminalでPytorchをinstallしたが、pip freezeで確認したところ表示されておらず、インストールしたい 使用PCはmacOS Mojave, MacBookPro ターミナルでPytorchをinstallしたコードと結果 (tf16cpu) bash-3.2$ conda install pytorch torchvision -c pytorch ...
0
1 回答
158 閲覧数

cifar10_quick_train_testのプーリング層の出力が整数ではない

caffeのcifar10_quick_train_testでプーリング層の出力が OH = (H-FH)/S + 1 (32-3)/2 + 1 29/2 + 1 以上のような計算になり 割り切れない数になると思うのですが、どのような処理が行われているのでしょうか? https://github.com/BVLC/caffe/blob/master/examples/cifar10/...
0
1 回答
636 閲覧数

courseraのmachine learningのプログラミング課題について: warning: opengl_renderer: data values greater than float capacity

courseraのmachine learning講座をやりはじめたのですが、week2のプログラミング課題の任意課題(ex1_multi)を実行すると下記のようにwarningが発生してしまいます。 原因はなんでしょうか?宜しくお願いします。 Loading data ... First 10 examples from the dataset: x = [2104 3], y = ...
0
1 回答
224 閲覧数

訓練済みモデルの使用にはGPUはあまり重要ではない?

TensorFlowなど機械学習フレームワークを用いて訓練済みモデルを作成した時、そのモデルの使用にもGPU性能は深く関わってくるでしょうか。 また、モデルの使用時に関する用語やベンチマーク、考察などありますでしょうか? 質問の背景 現在、訓練済みモデルを使ってユーザーから送られた画像を解析するWebサービスの作成を考えているのですが、訓練時と同様にGPUパワーが必要になるなら、...
1
1 回答
234 閲覧数

random値の違い

いくつかのプログラミング勉強サイトで似たような問題があったので一つ例にあげて質問させていただきます。Pythonで機械学習の本(python 機械学習プログラミング)で勉強するなかで以下のサンプルコードをコピペして実行したのですが出力が異なりMisclassified samplesの数が模範解答では4になっているのに対し私は9と出力されました。...
0
1 回答
477 閲覧数

深層学習の層数について

深層学習や転移学習では層を深くすればするほど原理的には予測精度は高くなるのでしょうか? 現在kerasのvgg16を用いてファインチューニングを行なっていますが全結合層を三層ほどにして学習した時より一層だけで学習した時の方が精度が高くなっています。深層学習や転移学習の強みは層を深くして複雑な問題に適応できるようになる事だと思うのですが、層が浅い方が精度が高くなるのは何故なんでしょう?
0
1 回答
145 閲覧数

訓練データとして用いるため、英語で記された景気についてのアンケート調査のデータを入手したい

プログラミングについての質問とは少しずれているかと思うのですが、ご了承ください。 日本では内閣府が公開している景気ウォッチャー調査といった景気に敏感な人たちを対象とした景気に対する評価(5段階)とその理由のアンケートのファイルがあります。 このアンケートのアメリカ版のようなファイルが欲しいです。つまり、景気に対する評価とその理由が英語で記載されているようなファイルです。 このファイルの用途は、...
0
1 回答
150 閲覧数

時系列データの学習の再開方法

chainerを用いて時系列データの学習を行っております。 例えば、A1~A99までのデータでEPOCH:100くらいで繰り返し学習させてモデルを作成。 次のデータ(仮にQ100とします)を予想します。 モデルは保存しておいて、実際のA100が解ったらQ100との違いを損失関数を通してモデルに反映。 Q101を予想します。 とまあ、ここまでは良いのですが。 Q100とA100の差を学習する際、...
0
1 回答
526 閲覧数

Pythonで、libjpegをインストールする方法が分かりません。

エラーは以下のようになっています。 RuntimeError Traceback (most recent call last) <ipython-input-163-bc99f0644372> in <module>() 2 import matplotlib.pyplot as plt ...
0
0 回答
742 閲覧数

Conditional GANの学習がうまくいかない

現在kerasチームが公開しているconditional GANのコードhttps://github.com/eriklindernoren/Keras-GAN/blob/master/cgan/cgan.pyを元にし,1次元データを入力とするConditional GANの実装を目指しています.そこで,Discriminatorの識別精度が100%近くになり,...
0
0 回答
353 閲覧数

Kerasで畳み込みネットワークの学習 精度の上がり方について

私は畳み込みネットワークを用いて画像の識別をしています. 実際にプログラムを動かしていくと,下の画像のように動作の開始直後はなかなか精度が上がらず,途中から急に精度が上昇し始めました.どういった原因が考えられるでしょうか. 回答よろしくお願いします.
0
0 回答
633 閲覧数

tensolflowでmnistの学習 データの正規化について

私は詳解ディープラーニングという書籍を使いtensorflowの学習を行っています. そこで疑問なのですが,データを正規化させて重みにも1/√nをかけて実行したのですが正解率が正規化する前よりも下がってしまいまいした.その理由がわからないので教えていただきたいです. 自分では,重みの初期値の設定の仕方が間違っている可能性があると思っていますが,具体的にどう間違っているのかがわかりません. ...
0
1 回答
534 閲覧数

相関行列の計算の流れが理解できない

相関行列の計算の流れが理解できないです。 # 相関行列を作成 R = np.corrcoef(X.T) # 対角成分を0にする _R = R - np.identity(10) #最大相関係数をとるインデックスを取得 index = np.where(_R == _R.max())[0] という流れで相関行列の計算を行うと思うのですが、...
1
1 回答
628 閲覧数

KeyError: 'PClass'の対処法

先ほど質問させて頂いた者です。回答者様のアドバイスを受けて修正したところ、一部ですがこのようなエラーが出ました。これはどういったエラーなのでしょうか?対処法を教えて頂きたいです。 from google.colab import files upload = files.upload() from google.colab import files upload = files.upload()...
0
1 回答
2,745 閲覧数

雑誌の通りにコードしたのですがNameError: name 'PClass' is not definedと出てしまった

機械学習の雑誌からpythonを始めた超初心者でKaggleのタイタニック号生存者予想をやっているのですが、雑誌の通りにコードしたのですが後半のグラフを作るときのコードがNameError: name 'PClass' is not definedと出てしまい、行き詰ってしまいました・・・ どなたか解決策をお願いします... ちなみに、雑誌は日経ソフトウェアの「タイタニックでデータ分析の特集」で、...
0
0 回答
188 閲覧数

ニューラルネットで似たような値ばかり推定する原因

最近機械学習を始めたものです. 以下のような条件でKerasを使用してニューラルネットを構築したのですが 思うような結果が得られません. 入力:7次元/出力:2次元 入力は0,1,2,3のスコアで出力は50~110の間で5刻みの値 全データ数は1000件ほどで入力から出力を推定する回帰学習 画像がその出力結果です 推定精度が高ければ高いほど対角線上にプロットされるという評価指標です ...
1
1 回答
708 閲覧数

Chainerでオートエンコーダーを作る際にTypeError: Unsupported type <class 'NoneType'>というエラー

Chainerをつかって、pythonで自己符号器をつくろうとしています。次のようなコードを書いて実行しました。 class Autoencoder(Chain): def __init__(self): super().__init__() with self.init_scope(): self.l1 = L.Linear(3,2) ...
1
2 回答
1,187 閲覧数

画像データが格納されたテンソルの扱い方

TensorFlowで画像処理を行いたい初心者です。 機械学習ネットワークから出力される、64×64の画像20枚分のテンソル[20,64,64,3]に対してある処理を行い、新たなテンソル[20,64,64,1]を求めたいのですが、適切な操作がわからず困っております。 やりたい処理としては、画像一枚の4×4のパッチ領域でRGBチャネル内の一番小さい値を見つけ出し、...
1
1 回答
1,064 閲覧数

分類確率とデータの出力方法

機械学習を勉強している大学生です。 python,tensorflow,kerasを用いて2クラス分類を行うプログラムを書いています。 分類確率をmodel.predictで出すことはできるのですが、 その確率値がどのデータに対するものなのかを出力する方法がわかりません。 以下は確率値を出すための部分的なプログラムです。 result = model.predict(X_test) ...
2
0 回答
46 閲覧数

『トピックモデルによる統計的潜在意味解析』の2.2節のp(x_i | π)=Multi(x_i | π)の成立理由

とてもピンポイントな質問で申し訳ありませんが、 『トピックモデルによる統計的潜在意味解析』(奥村学 監修、佐藤一誠 著)の 2.2節の式(2.3)の前の文章に以下が書かれており、私には飛躍的で理解できません。 p(x_i=k | π)=Multi(n_k=1 | π, 1)と考えられるため、 これをp(x_i | π)=Multi(x_i | π)と表記する。 ここで、...
0
0 回答
170 閲覧数

RDBに保存された画像データから類似画像を検索する方法

RDBに画像から抽出した特徴ベクトルと画像のパスを保存しています。 指定の画像と類似した画像を検索したいのですがselectで絞り込む方法がわかりません。 手動でタグ付けして絞り込むしかないんでしょうか?
0
1 回答
4,587 閲覧数

csvファイルがうまくダウンロードできない場合の対処法につきまして

機械学習初心者の学生です。 電力データ分析を行おうと思い、下記リンクにアクセスしたのですが、 なぜかcsvファイルがダウンロードできず、web上に表示されるだけでした。 http://www.tepco.co.jp/forecast/html/images/juyo-2018.csv web上の情報をコピペしてエクセルに貼り付けたのですが、複数の情報が1セルにまとめられて表示されてしまいます。 ...
0
1 回答
1,438 閲覧数

pythonで変数が次のコードへ継承されません

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。 しかしながら、 Using TensorFlow backend. Traceback (most recent call last): File "/home/yudai/Desktop/keras_test.py", line 19, in model = ae(len(...
0
1 回答
187 閲覧数

syntaxErrorが出ます

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。 しかしながら、 File "/home/yudai/Desktop/keras_test.py", line 24 loaded_model = model_from json(loaded_model_json) ^ SyntaxError: ...
0
1 回答
944 閲覧数

kerasで同じコードでIndexErrorとAttributeErrorがでます

自力で単純なautoencoderを頑張って書いてみました。 しかし、 C:\Users\yudai\Desktop\keras_AE.py:62: UserWarning: Update your `Model` call to the Keras 2 API: `Model(inputs=Tensor("in..., outputs=Tensor("de...)` ...
0
1 回答
1万 閲覧数

pythonでRuntimeErrorが出ます

以下のコードを動かそうと思っているのですが、 エラーが出力されてしまいます。 もしよろしければ、ご教授よろしくお願いいたします 何卒、よろしくお願いいたします。 python3 '/home/hoge/train.py' Traceback (most recent call last): File "/home/hoge/train.py", line 56, in ...
3
1 回答
538 閲覧数

CNNによる画像分類における、学習とは?

私はpython言語で書かれたkerasを用いて、画像分類を行っていますが、学習と判別がどのように行われているのか、仕組みが分かりません。 例えば、MNISTのデータセットをDLし、モデルを構築後、下記のコードを入力したとします。訓練データが54000枚、validation splitの値を0.1に設定しバリデーションデータが6000枚あります。 model.compile( loss='...
0
1 回答
126 閲覧数

Leave One Site Outの使い方

一体どのように使えばいいのでしょう? from sklearn.cross_validation import LeaveOneOut from sklearn.model_selection import LeaveOneGroupOut というようにインポートしたいのですが、ネット上でいくら探してもそれらしい記事が見つからず、お力をお借りしたいです
0
1 回答
7,861 閲覧数

Pytorch 0.2.1をバージョンダウンする方法

困っていること 下記の問題のgithubでget_dataset.py、data_util.py、train.pyを実行した結果、 RuntimeError: dimension specified as 0 but tensor has no dimensions と出力されます。 get_dataset.py では、 re.findall("<p>.*</p>",...
1
1 回答
2万 閲覧数

『Pythonではじめる機械学習』の mglearn を使いたいが、not defined となる

今オライリー・ジャパンの「Pythonではじめる機械学習」という本で機械学習の勉強を始めています。そこで、GitHubにあるmglearnというライブラリを入手したいのですが、やり方が分からず困っています。Download ZIPというボタンを押して保存したりしているのですが、うまくいきません。できるだけ詳しく教えていただけると助かります。mglearnのリンク先は下です。 https://...
1
1 回答
463 閲覧数

特徴量として使えるデータを平均の差から見つけ出す方法

クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。 複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。 その際の「平均の差を比較する」方法がわかりません。 例えば、高校のクラスが2つ(A組、B組)あったとし、 それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
1 回答
727 閲覧数

DeepLearningの学習データ(jpeg、raw)と組み込みシステムについて

私は画像を使ったディープラーニングについて勉強しています。 今回疑問があり皆様の意見を聞きたく投稿しました。 一般的にWebの画像認識に使用する学習データは容量を少なくする為、jpeg画像が多いと思います。 しかし、組み込みシステムで使用するカメラ画像は圧縮せずにraw形式の画像をメモリに保存し認識処理すると思います。 ここで、Web上の学習モデル(jpeg)を使用した場合、...
6
1 回答
592 閲覧数

LSTMをPythonで

最近、RNNについて勉強しています。今ちょうど、LSTMについて勉強しているところなのですが、tensorflowやkerasの使い方はなんとなく分かるけれど応用できるほどの技量はないので、イメージを膨らますためにもとりあえずPythonのnumpyのみでコードを書いてみようと思いました。一応、入出力ゲート、忘却ゲート、CEC、覗き穴結合などを搭載した自作LSTMを作ってみたのですが、...
0
1 回答
245 閲覧数

他クラス線形回帰に対する最急降下法

タイトル通り線形回帰に対して最急降下法を行いました。もちろん解析的に解は出せるんですが、それはここでは置いておいてください。 目的関数は $$ \frac{1}{2} \| Xb - y \|_2^2 $$ であり、その勾配は $$ X^T X b - X^T y $$ となります。これを用いて最急降下法を行いましたが、最小化されません。むしろコストが上がっていきます。 import ...
1
1 回答
2,025 閲覧数

pythonでTFlearnがインポートできないです。

Mac book で『初めてのTensorFlow』と言う本にしたがってTFlearnをインストールしたのですがいざpythonでインポートしようとすると下のような表示が出てしまいます。 解決方法をぜひ教えていただきたいです。 よろしくお願いします。 Shiraishi-Sadaaki-no-Macbook-ea:~ shiraishisadaaki$ python Python 3.5.0 (...
2
3 回答
134 閲覧数

AzureのMachine Learningの学習モジュールの使い分けについて

先週から機械学習を勉強し始めた、テクノロジーにかなり疎いOLです 基本的な質問ですみません AzureのMachine Learningで来客数予測をするべく勉強を始めたのですが、 学習モジュールの使い分け方法がわからなくて行き詰まっております 同じ線形回帰であっても Liner RegressionとBayesian Liner Regressionはどう使いわけするのか (...
1
1 回答
1,061 閲覧数

Word2Vecにおけるマイナスの概念について

Word2Vecでsimilarityの値がマイナスになるのはどうしてなのでしょうか? たとえば、次のコードを実行した時に、meowが-0.018となり、マイナスになっています。 この場合100次元空間のベクトルの内積ですから、マイナスではなくてプラスになると思っています。 今回はmeowだけでしたが、sizeのパラメーターを変更すると他のものもマイナスになったりします。 ソースコード # ...
0
1 回答
328 閲覧数

Kernel K-means 実装 in Python

環境: Mac, Jupyter-Notebook, Python2.7 Kernel K-meansを実装したんですが、うまく動作しません。コードにエラーは出ません。どこかの計算が間違っているんだと思いますが、どこかわからないので誰か助けてください。 Algorithmについてはこちらがわかりやすいかと思います Link_01 Link_02 とりあえずデータを貼ります、...
0
1 回答
240 閲覧数

Global K-means 実装がうまくいかない

環境: Jupyter Notebook, Macbook air, Python2.7 Global K-meansを実装したんですが、アルゴリズムがうまく働いていないのでそれについて質問させてもらいました。K=3以上のクラスタリングになるとなぜかcentroidが近くに設置されます。どこがおかしいんでしょうか? アルゴリズムについてはHEREスライドの12,13ページにあります。 ...
0
1 回答
610 閲覧数

DataFrameを用いてカテゴリカル変数を1特徴量の量的変数に変換する方法

後述のようなsample.csvを読み込んだDataFrame dfがあったときに、カテゴリカルな変数であるresidenceに一位のラベルを自動的にふるよい方法があれば教えてください。 pandas.get_dummies(df)を用いるとそれっぽいことができなくはないですが、東京カラム、神奈川カラム、、、などと特徴量の変数の数だけ、新しい特徴量ができ、それらが0,1になってしまいます。 ...
4
1 回答
2,919 閲覧数

Pythonを使ってロジスティック回帰したときのP値

Python、機械学習についてここ1週間くらいでやりはじめた初心者です。 とても初歩的な質問で申し訳ありませんが、何卒お願いします。 Pythonを使ってロジスティック回帰分析をしようと思っています。 以下のようなユーザーデータを持っています。 年齢・性別・年収と、購入したかどうかの0or1のフラグです。 ユーザid, 年齢, 性別, 年収, 購入フラグ 1 , 30, ...