0

ロジスティック回帰分析を二つの方法で実行したところ、別の値が出てしまいました。おそらくscikit-learnを使ったほうが間違っていると思うのですがなぜ違うのかがわからないので教えていただきたいです。下にコードと結果をのせておきます。

import pandas as pd 
from sklearn.datasets import load_wine
import numpy as np
import seaborn as sns
import statsmodels.api as sm

df = load_wine(as_frame=True)['frame']

df2 = df[['color_intensity', 'target']]

drop_index = df2[df2['target'] == 2].index 

df3 = df2.drop(index= df2. index[drop_index]) #データの中のtargetが2のものを消す

x = df3['color_intensity']
y = df3['target']

x2 = sm.add_constant(x)

model = sm.Logit(y, x2)
results = model.fit()
print(results.summary()) #Log-Likelifoodが対数尤度、対数尤度の絶対値が交差エントロピー、coefのconst color_intensityがそれぞれw0,w1

#scikit learnの場合

from sklearn.linear_model import LogisticRegression

x = np.array(df3['color_intensity']).reshape(-1,1).tolist()
y = df3['target']

model = LogisticRegression(penalty=None) 
model.fit(x, y)
print(model.intercept_) #w0
print(model.coef_) #w1

結果(必要な部分を抜粋)
coef const 8.5762 , color_intensity -2.0166
[8.58249803]
[[-2.01804173]]
太字同士、斜体同士が一致するはずです。
書き方が違っていたらごめんなさい。

2
  • 質問のコードを当方の環境で実行したところエラーが発生しました。コード実行に使用した各モジュールのバージョンをお知らせください。
    – merino
    Commented 3月13日 9:01
  • scikit-learn 1.0.2 で試したところ(Noneを'none'に変更)出力は[8.57663552] [[-2.01667905]]となり、statsmodels の結果とほぼ同じとなりました。各モジュールの内部ロジックについてはドキュメントやソースコードを確認すると何かわかるかもしれません。
    – merino
    Commented 3月13日 9:09

1 件の回答 1

4

「python 3.11.8, scikit-learn 1.4.1.post1」で再現しました。

sklearn.linear_model.LogisticRegression を確認すると,(収束させて)解を求める際の精度を決めるパラメータの既定値は tol=1e-4 のようです。

そこで,tol=1e-6 に設定したところ sm.Logit() と同様の値が得られました。

# ...

model = LogisticRegression(penalty=None)
model.fit(x, y);
print(model.intercept_)
# [8.58249803]
print(model.coef_)
# [[-2.01804173]]

model = LogisticRegression(penalty=None, tol=1e-6)
model.fit(x, y);
print(model.intercept_)
# [8.57617546]
print(model.coef_)
# [[-2.01657555]]

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。