3
本家SOで似た症状に困っていたが解決した人がいました.
https://stackoverflow.com/questions/25750961/tweepy-importerror-cannot-import-name-random
この人によると,同じディレクトリ内にrandom.pyという名前のファイルを置いていて,それを意図せず代わりにimportしていたのが原因だったとのことでした.
チェックしてみてください.
2
それぞれ
base_estimator 基となる推定器
n_estimators 基となる推定器の数
max_samples 各推定器を訓練する時に用いるサンプル数
max_features 各推定器を訓練する時に用いる特徴量の数
になります。
ただし、max_samplesとmax_featuresは、intの場合とfloatの場合で意味が変わります。intで与えた場合は絶対数を、floatで与えた場合は全体に対する割合を指します。
より詳しい情報は公式ドキュメントをご覧ください。
また、上記理解が正しい場合、さらに以下の疑問があります。
max_samples=1のとき全体が抽出されるので、自動的に特徴量もmax_features=1になるような気がしており、...
2
このスクリプトは自分自身を import しようとしています。
sklearn という外部のライブラリから import する意図で、from sklearn と書かれていますが、自分のファイル名も sklearn.py なために自分を読み込んでしまうのです。
ファイル名を変更しましょう。
追記: モジュールがどこのファイルから import されているか確認するには、例えば以下のようにします。
import sklearn
print(sklearn.__file__)
2
このデータの分析は、Kaggleの初心者向けの有名な課題「Titanic : Machine Learning from Disaster」のタイタニック号の乗客の生存予測とよく似ているので、タイタニック号のデータを使って、ロジスティック回帰分析を簡単にやってみると次のようになります。まず、データマイニングをします。Pclassは、船室の等級で1等、2等、3等があって1等が上級です。
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression
def load_file_train():
train_df = pd.read_csv("../input/train.csv")
...
1
偽陽性とは、陽性ではないものが陽性として予測されることです。男性相手に「あなたは妊娠しています」と伝えるのも偽陽性です。
ご提示されたリンク先には以下の部分があります:
trues = []
preds = []
for train_index, test_index in SKF().split(X, y):
if first_fold:
gclf.fit(X[train_index], y[train_index])
clf = gclf.best_estimator_
first_fold = False
clf.fit(X[train_index,], y[...
1
はい。交差検証を用いたグリッドサーチは、パラメーターチューニングで一般的に使われるので、scikit-learnでは(GridSearchCVに)実装済みです。
1
しばらく調べた結果、質問の主題である「特徴量として使えるデータを見つける方法」というのは次元数が少ない場合や各次元の特徴が分かっている場合は分類の目的に応じて人力で行い、次元数が非常に多い場合は特徴選択という手法が処理が用いられるようです。
特徴選択 - Wikipedia
フィルター法:目的変数と各特徴量との情報ゲインなどの,特徴の良さの規準を使って選択する.
ラッパー法:特徴量の部分集合を使って実際に学習アルゴリズムを適用し,交差確認法などで求めた汎化誤差を最小にする特徴量の部分集合を選択する.
特徴選択 - 機械学習の「朱鷺の杜Wiki」
また、「単位が異なるので単純に比較できない」という点については、同じ次元同士でクラスタリングを行う限り、問題が無いように思います。
...
1
機械学習については初心者ですが、質問の中にある以下の分析であれば、統計学のうち記述統計を使った従来のデータ分析で可能です。
Morning直後はある値が増加傾向にある。
NoonもMorningと比べて大きな変化量はないが、増加傾向にある。
Eveningも大きな変化量はないが、増加傾向にある。
増加傾向を分析したのであれば、時系列の差分(階差)を使うのが向いています。
機械学習が得意なことは、「集めたデータからデータの特徴を学習してモデル化し、そのモデルを使って未来の新しいデータを予測したり、分類したりすること」といわれています。今回のケースであれば、異常検知や将来予測ではないかと思います。
異常検知をする場合、時系列の差分(階差)...
1
単純にscipyをインストールしていなかっただけでした。すいませんでした。
1
pca = PCA()
pca.fit(imgAry) # この処理で内部に計算結果を格納してる模様
pca_res = pca.transform(imgAry)
restoredImgAry = pca.inverse_transform(pca_res)
でimgAryを少量の誤差で復元することが可能です。これは元の画像を224列のデータとみなして主成分分析を行い、特に次元数を圧縮していないものになります。
尚、どの程度まで次元を圧縮してよいのかについては計算後
pca.explained_variance_ratio_
で調べることができます。(いわゆる各主成分の寄与率に相当します。)
試しにn_components=5などと明示して計算後に
sum(pca....
1
NumPyとPandasの有効桁数の違いが原因だと思います。
のび太と学ぶ「機械学習」【第3話】完成:FX予測プログラム(線形回帰版)
https://qiita.com/sugulu/items/5c1b03cd445f27fd3e28
はNumPyデータでregressionしていますが、こちらのコードはPandasで実行されています。
Linear Regressionは、擬似逆行列を計算するので、有効桁数の差で少し結果が異なるのだと思います。
それ以外には、実際に実行してチェックしてみましたが、オリジナルと違いはありませんでした。
1
1. について
Pythonではimport <モジュール名>とすると、<モジュール名>.<モジュール内で定義された名前>という形でアクセスできるようになります。もし一番目のコードのようにモジュール名を省略したいのであれば、from <モジュール名> import <モジュール内で定義された名前>と書く必要があります。
2.について
こちらは動かしてみたわけでもないので自信が無いですが、
挙げられたドキュメントの以下の記述
Notes
All estimators should specify all the parameters that can be set at the class level in their init as ...
1
詳しい状況が分かりませんが、関係がありそうな情報を乗っけて置きます。
http://scikit-learn.org/stable/faq.html#why-do-i-sometime-get-a-crash-freeze-with-n-jobs-1-under-osx-or-linux
端的に言うと、macなどの場合だと、n_jobs > 1 の時、pythonのmultiprocessingの呼び方がfork-safetyではないので、バグだとみなしてしまうそうです。
Python 3.4+ の場合は、
import multiprocessing
# other imports, custom code, load data, define model...
if __name__ == '...
1
ファイル名をrandom.pyから他のものに変更してください。
エラーログを詳細に読むと、randomをimportしようとした所でライブラリのrandomではなく自分自身をimportしようとしています。
類似の質問: "Tweepy: ImportError: cannot import name Random" (本家StackOverflowより。「sklearn cannot import name」などでググっているとでてきました。)
(註: この回答はコメント1、2を参考にした回答です。詳しくはメタポスト「コメントで解決済みとなった質問の事後処理」をご覧ください)
1
クラス比例を保ちながら分割するにはStratifiedShuffleSplitを使用して下さい。
1
エラーメッセージを見ますと、その1900枚の画像の中に SURF で特徴量を抽出できない画像が含まれているのではないかと思います。例えば、
if d.size > 0:
c = km.predict(d)
とするか、特徴量 0 の画像は alldescriptors に append しない様にしてみてはいかがでしょうか。
-- この投稿は、metropolis さんのコメントをコミュニティ wiki として投稿したものです。
1
学習データのベクトル化と、新しいデータのベクトル化は独立した操作なので、必ずしもfit_transform()を呼び出してからtransform()を呼びなさないといけないわけではありません。fit_transform()で作られたベクトルをディスクに保存しておけば、後からロードすることができます。
vectorizedの型はscipy.sparse.csr.csr_matrixなので.toarray()でnumpyの形式に変換してから保存すればいいと思います。復元はその逆の操作になります。
import numpy
import scipy.sparse.csr
# vectorizedはgithubの例にあるようにvectorizer.fit_transform(...)で得られたもの
# 保存
...
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります