タイトルの通りですが標準化,正規化,ロバストスケーリングがどういうものかは理解しているんですがそれぞれのメリット,デメリット,またどういうときにどの前処理がおすすめなのかを具体例で教えていただきたいです.
1 件の回答
本家SOに類似質問があり、質問文にメリットやデメリットがまとまっていたので転載します。(日本語は回答者の訳です。項目が良くまとまっていますが真偽は保証できません)
Data Standardization vs Normalization vs Robust Scaler
Advantages(メリット):
- Standardization: scales features such that the distribution is centered around 0, with a standard deviation of 1.
標準化: 分布が0を中心とし、標準偏差が1になるように特徴量をスケーリングします。- Normalization: shrinks the range such that the range is now between 0 and 1 (or -1 to 1 if there are negative values).
正規化:範囲が0~1(負の値がある場合は-1~1)になるように範囲を縮小します。- Robust Scaler: similar to normalization but it instead uses the interquartile range, so that it is robust to outliers.
正規化に似ていますが、外れ値が存在しても堅牢なように四分位範囲を用います。Disadvantages(デメリット):
- Standardization: not good if the data is not normally distributed (i.e. no Gaussian Distribution).
データが正規分布していない(ガウス分布でないなど)場合は適しません。- Normalization: get influenced heavily by outliers (i.e. extreme values).
外れ値(極端な値など)の影響を強く受けます。- Robust Scaler: doesn't take the median into account and only focuses on the parts where the bulk data is.
中央値を考慮せず、大量にデータが存在する部分のみに焦点を当てます。
類似質問では前処理の手法による影響に質問の主眼が置かれています。
そのため回答もそこにフォーカスが置かれていますが、sci-kit-learnを引用した回答にあるように、外れ値をどのように扱いたいのかによって最適な前処理が変わります。