0

以下のように、scikit-learnの関数train_test_splitを用いると、

dataset_train, dataset_test = train_test_split(dataset, train_size=0.8)

データセットを訓練データとテストデータに分割はしてくれるのですが、
クラス数が多い(例えば100クラス)場合だと、
訓練データとテストデータの各々のクラス数が異なる時があります。
例えば訓練データに含まれるクラス数は100である一方、
テストデータのそれは98となってしまうことがあります。

train_test_splitでは、ランダムシャッフルしてsplitしているだけなので、
クラスに含まれるデータ数がアンバランスな場合、このようなことが起きると思われます。

クラス数もちゃんと保つように、データを分割するには、
どのようにすれば良いでしょうか?

よろしくお願いします。

2
  • 存在することがわかっているクラスのデータを最低1個ずつ作り、分割後のtrainとtestにそれぞれ足せば必ず1つは存在することになりますね。 Commented 2016年10月5日 21:38
  • ありがとうございます。今のところ、そのような形で自分で実装してみます。すでにscikit-learnにそのような関数があっても良さそうですが、私の調べた限りなさそうでした。
    – neco
    Commented 2016年10月5日 22:12

2 件の回答 2

1

クラス比例を保ちながら分割するにはStratifiedShuffleSplit使用して下さい

2
  • 編集後の投稿を見ました。これで良いと思います
    – ra1ned
    Commented 2016年12月10日 7:06
  • 返答が遅くなりました。試してみましたが、これでうまくいくようです。ありがとうございます。
    – neco
    Commented 2016年12月17日 12:06
-1

推測ですが,こういう事ですか?

dataset_train, dataset_test = train_test_split(dataset, stratify=dataset, train_size=0.8)

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。