[scikit-learn] タグが付いた質問
scikit-learnはPython向けの機械学習ライブラリで、データ解析やデータマイニング用にシンプルで効率的なツールを提供します。誰でも利用しやすく、様々な状況で再利用できます。NumPy, SciPy, matplotlibを用いて構築されています。このプロジェクトはオープンソースで、商用利用が可能です。(BSDライセンス)
33
質問
6
票
2回答
300 件の閲覧数
訓練データとテストデータの評価の差
ある数値を予測するコンペの問題をPythonでやってます。
与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。
https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook
上記を参考にして、取り出したデータをもとにLASSO ...
3
票
1回答
2,018 件の閲覧数
Pythonを使ってロジスティック回帰したときのP値
Python、機械学習についてここ1週間くらいでやりはじめた初心者です。
とても初歩的な質問で申し訳ありませんが、何卒お願いします。
Pythonを使ってロジスティック回帰分析をしようと思っています。
以下のようなユーザーデータを持っています。
年齢・性別・年収と、購入したかどうかの0or1のフラグです。
ユーザid, 年齢, 性別, 年収, 購入フラグ
1 , 30, ...
3
票
1回答
3,182 件の閲覧数
scikit-learn/k-meansを使った画像のクラスタリングでのエラー
ディレクトリ内のjpg画像ファイルをSURFを用いて、特徴量を抽出し、すべてのSURFをk-means法でグループ化して基本特徴量(visual word)を求め、これを使って画像の局所特徴量リストをbag-of-wordsリストにするプログラムがあります。
試しに、90枚ほどの画像でやるとうまくグループわけができましたが、いざ1900枚ほどの画像でやってみると、...
3
票
1回答
9,598 件の閲覧数
scikit-learnを用いて主成分分析 (PCA) した結果から元の画像データを復元したい
画像処理を行っていて、特徴量抽出に scikit-learn の PCA を使いましたが、様々な処理を行った後その結果から画像を復元したい(参考(これをpythonでやりたい):R prcomp での主成分分析結果から元データを復元する)。
具体的には以下のようなコードになっています。
from sklearn.decomposition import PCA
from PIL import ...
2
票
1回答
4,520 件の閲覧数
pythonでscikit-learnを用いたらImportErrorが起きてしまいます
技術評論社のデータサイエンティスト養成読本 機械学習入門編を読んでいます
128ページからscikit-learn入門のページが始まるのですが
そちらにあるコードを試したところ、scikit-learnのImportErrorが起きてしまいます
何が悪いのかわかりませんが・・・どなたかご存知の方はいらっしゃらないでしょうか?
Mac OSX 10.9
python 3.4.3
...
2
票
1回答
78 件の閲覧数
scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?
実装は以下のサイトのものをそのまま使用しました.
https://www.haya-programming.com/entry/2018/02/22/234011
混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります.
[[1699 1]
[ 0 1936]]
...
2
票
2回答
132 件の閲覧数
分類問題における評価方法について
機械学習を研究で初めてまだ初心者です。研究で4クラス分類の問題を扱っててaccuracyやprecisionやrecallを算出したいです。
データ数が少ない(30件ほど)で分割のされ方によってスコアにかなり影響を受けてしまいます。交差検証したときのばらつきが大きくて(例えばaccuracyが[0.83333333 0.72727273 0.44444444]など)評価方法に困っています。...
1
票
1回答
1,097 件の閲覧数
BaggingClassifierのパラメーターについて
clf = DecisionTreeClassifier(criterion='entropy', max_depth=1)
sklearn.ensemble.BaggingClassifier(base_estimator=clf, n_estimators=10, max_samples=1, max_features=1)
...
1
票
1回答
233 件の閲覧数
特徴量として使えるデータを平均の差から見つけ出す方法
クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。
複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。
その際の「平均の差を比較する」方法がわかりません。
例えば、高校のクラスが2つ(A組、B組)あったとし、
それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
票
2回答
837 件の閲覧数
時系列の特徴量の作成の仕方
機械学習における、時系列の特徴量作成に関して質問です。
以下の添付した画像から、例えば
・Morning直後はある値が増加傾向にある。
・NoonもMorningと比べて大きな変化量はないが、増加傾向にある。
・Eveningも大きな変化量はないが、増加傾向にある。
こういった事実現象を時系列の特徴量として、表現するにはどういった方法がありますでしょうか
機械学習に精通している皆様方、...
1
票
2回答
3,736 件の閲覧数
sklearnのn_jobsについて
sklearnのランダムフォレストのグリッドサーチをしようと思い,以下のようにグリッドサーチのコードを使おうとしました.n_jobsを-1にすると最適なコア数で並列計算されるとのことだったのでそのようにしたのですが,一日置いてもまったく計算が終わる気配がなく,n_jobs=1とすると数秒で終わるという状態になっています.メモリやCPUの使用率は100%に近くなっており動いてはいるのですが,...
1
票
1回答
982 件の閲覧数
sklearnでImportError: cannot import name cloneというエラーが出る
pythonでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。
どうすればよいのかご教授お願い致します。
Traceback (most recent call last):
File "random.py", line 4, in <module>
from sklearn.ensemble import ...
1
票
0回答
75 件の閲覧数
pythonライブラリhmmlearnのAttributeError
実行したコード
from hmmlearn import hmm
model = hmm.GaussianHMM(n_components=5, n_iter=100)
model.covars_
吐き出されたエラー文
---------------------------------------------------------------------------
...
1
票
0回答
70 件の閲覧数
multi-output classification and regression
python scikit-learn にて RandomForestを用いたプログラムを実装中です.
n個の目的変数を分類,回帰で分析する際にn個モデルを作るのではなく
一つのモデルでn個の出力をするmulti-output classification and regression について
調べています.
scikit-...
0
票
1回答
4,715 件の閲覧数
ImportError: cannot import name Randomというエラーが出る
sklearnでランダムフォレストを使おうとしているのですが,以下のエラーが出てきます。
まず簡単なものでやってみようと思い,ネットに出ているコードをそのまま使用しました。
どうしたらよいでしょうか。
コード
from sklearn.ensemble import RandomForestClassifier
trainingdata = [[1, 1], [2, 2], [-1, -1],...
0
票
1回答
40 件の閲覧数
Scikit-learnのGridSearchCVについて
初歩的な質問で申し訳ありません。
Scikit learnのGridSearchCVはグリッドサーチだけでなく、引数cv=5とすれば5分割の交差検証も行ってくれるのですか?
ご存じありましたら、ご回答いただけたらと思います。
よろしくお願いします。
(グリッドサーチと交差検証について学んでおりまして、グリッドサーチに関してはそれなりにできたのですが、交差検証の方がいろいろと手こずっていたのですが、、...
0
票
1回答
258 件の閲覧数
sklearn を使ったコードが PyCharm で実行できない
PyCharmで下のようなコードを実行すると
from sklearn import svm
xor_data = [
P, Q, result
[0, 0, 0],
[0, 1, 1],
[1, 0, 1],
[1, 1, 0]
]
data = []
label = []
for row in xor_data:
p = row[0]
q = row[1]
r = row[2]
...
0
票
1回答
447 件の閲覧数
scikit-learnで同じトレーニングデータを使用しても異なるパラメータが得られる
Qiita の https://qiita.com/sugulu/items/5c1b03cd445f27fd3e28 こちらの投稿を参考に自分でプログラムを書いてみたのですが、トレーニングデータは同じはずなのに元のコードで得られたパラメータと異なるパラメータが算出されてしまいます。
こちらが参考にさせていただいたコードです。
import numpy as np
import pandas ...
0
票
1回答
567 件の閲覧数
scikit-learn ライブラリを継承した自作クラスのオブジェクト生成時にエラー : TypeError: 'module' object is not callable が発生してしまう。又、自身のオブジェクトを表す self が 意図に反して None となってしまう。
自作クラスのオブジェクト作成時の挙動と、自身のオブジェクトを表す self の挙動に関して、
以下の2つの不明点があり解決出来ません。
解決方法を教えて頂きたいですm(__)m
1. 1つ目の不明点(自作クラスのオブジェクト生成時の挙動)
scikit-learn ライブラリの推定器 estimator の基本クラス sklearn.base.BaseEstimator,sklearn....
0
票
1回答
1,068 件の閲覧数
sklearnのTfidfVectorizerについて
sklearnでKMeansを利用しようと考えています。
https://github.com/luispedro/BuildingMachineLearningSystemsWithPython/blob/master/ch03/rel_post_20news.py
上記のサンプルを参考にしています。
上記サンプルのL58でTfidfVectorizer.fit_transform()...
0
票
0回答
20 件の閲覧数
scikit learnのDecisionTreeRegressorに関して
DecisionTreeRegressorでデータの学習を行う際にmin_samples_splitを指定することで決定木のノードの分割を制御することができますが、分割が不十分だと決定木の葉には複数のデータが存在しているということになります。この場合、決定木の出力はどのように計算されるのでしょうか。
0
票
0回答
38 件の閲覧数
機械学習(SVM)のカーネル関数
現在、私は文書分類を行うプログラムを作成しています。
しかし、経験が無くカーネル関数の選択ができません。
以下の条件で推奨されるカーネル関数を教えてください。
語のリストがあり、文書に出現すれば1、しなければ0とした。
よって、特徴ベクトルは0と1のバイナリベクトルです。
特徴ベクトルの次元数は1000から1万程度です。
ラベルを0と1とした二値分類です。
よろしくお願いいたします。
0
票
1回答
120 件の閲覧数
kerasとscikit-learnによるaccuracyの算出方法による違いはありますか?
私は現在マルチラベルの画像分類をkerasのCNNを用いて行っています。
また、kerasのaccuracyだけでなくscikit-learnの様々な評価方法(Recall, Precision, F1 scoreそしてAccuracy)を用いて精度の再確認を行いました。
結果としてkerasで算出したAccuracyは約90%を示すのに、scikit-learnはどれも60%前後しか示しません。
...
0
票
0回答
27 件の閲覧数
機械学習でハイパーパラメータが最適化されたモデルで性能評価を行う方法
グリッドサーチを行い、ハイパーパラメータが調整されたモデルで、未知のデータに対するモデルの性能を評価したいです。
そこで、以下の3つの方法が考えられるのですがこれらの方法は正しいでしょうか。
なお、コードについては処理の流れを説明するためのものであり実際に動くコードにはなっていません。
1つ目
ホールドアウト法で評価する方法
X_train, X_test,y_train, y_test = ...
0
票
0回答
133 件の閲覧数
scikit-learnのStackingClassifierでestimatorに指定したLGBMClassifierが学習中にエラーを出す
models = []
models.append(('lgb_1', LGBMClassifier(boosting_type='gbdt', learning_rate=0.03,
max_depth=15, min_child_samples=50,
...
0
票
0回答
151 件の閲覧数
「Pythonではじめる機械学習」のLogisticRegressionの出力が手元と違う
機械学習初心者です。頓珍漢な質問でしたら申し訳ありません。
書籍「Pythonではじめる機械学習」第5刷のP59~61について2つ質問があります。
(1)
書籍のコードを以下の通り写経していますが、出力が書籍に記されているものと若干異なります。
この原因を教えて下さい。
from sklearn.model_selection import train_test_split
from ...
0
票
1回答
512 件の閲覧数
sklearnでのモデル再学習について
現在Pythonのsklearnを用いて、機械学習を行っています。
モデルを作成し、そのモデルから予測をすることはできています。
そこで質問なのですが、このモデルを再度学習したい場合そのモデルを用いて
追加学習をすることはできるのでしょうか。
もしくは、以前学習に使用したデータを用いなければならないのでしょうか。
基本的な質問かもしれませんがよろしくお願いいたします。
0
票
1回答
217 件の閲覧数
Kerasを使った学習済みモデルで実際にテスト用データを用いてクラスタリングをしたい
学習済みCNNの評価に使用したテストデータを用いて実際にクラスタリングした結果を取得したいです。
Kerasを使ってクラスタリングを行うネットワークの構築を行っています。
学習および評価に使用する画像を次のように取得しました
target_dir = "TargetDir"
data_df = pd.read_csv(target_dir+'data_sheet.csv')
file_list ...
0
票
1回答
117 件の閲覧数
scikit-learn matplotlib軸を定義したい クラスタ分析
湿度センサと心拍センサを用いて感情別にクラスタ分析をしようと思っています。
各センサから取得したデータをcsvファイルに保存し、read_csvで読み込みmatplotlib で可視化させているのですが、図のようになってしまいます。
縦軸を心拍数、横軸を湿度として値を表示させるにはどのようにすればいいのでしょうか?
手動で範囲を決める、set_ylim([min,max])を用いるべきなのか
...
0
票
1回答
240 件の閲覧数
k-means法sickit-learn クラスタリング エラー解決方法
心拍センサで取得したデータをcsvファイルへ保存しread_csvを行いk-means法を用いて2種類(感情別(画像参照;1、落ち着いている 2、イライラしている))にクラスタリングしたいのですが、
ValueError; Found array with 0 feature(s) (shape=(30,0)) while a minimum of 1 is required.
...
0
票
1回答
296 件の閲覧数
ランダムフォレスト 、一つ抜き交差検証におけるfeature importanceの出力
ランダムフォレスト、一つ抜き交差検証を用いて、予測モデルの作成を行っています。
ランダムフォレストでは、feature importanceを出力できますが、一つ抜き交差検証を用いた時の、平均のfeature importanceを出力することは可能なのでしょうか?
可能な場合、どのようなコードを足せばよろしいでしょうか?
現在のコードは以下の通りです。
import numpy as np
...
0
票
1回答
176 件の閲覧数
sklearnのpairwise_kernelsの引数について
環境: Macbook air, Jupyter-Notebook, Python2.7
Kernel K-meansを実装する際、一部この方のコードを参考にしました。
具体的には
def _get_kernel(self, X, Y=None):
if callable(self.kernel):
params = self.kernel_params or {}
...
0
票
2回答
2,013 件の閲覧数
Scikit-learnでクラス数を考慮してデータを分割したい
以下のように、scikit-learnの関数train_test_splitを用いると、
dataset_train, dataset_test = train_test_split(dataset, train_size=0.8)
データセットを訓練データとテストデータに分割はしてくれるのですが、
クラス数が多い(例えば100クラス)場合だと、
...