Jupyter Notebookを使って、以下の記事の内容を練習しています。
https://toukei-lab.com/light-gbm#LightGBM-3
以下のようなエラーが出てしまいました。
import glob
import pandas as pd
import numpy as np
import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error as mae
import re
ファイルの読み込み
files = glob.glob(r"C:\Users\user\Desktop\Nishika\train*.csv")
data_list = []
for file in files:
data_list.append(pd.read_csv(file, index_col=0))
df = pd.concat(data_list)
データ前処理関数の修正版
def data_pre(df):
nonnull_list = []
for col in df.columns:
nonnull = df[col].count()
if nonnull == 0:
nonnull_list.append(col)
df = df.drop(nonnull_list, axis=1)
df = df.drop("市区町村名", axis=1)
df = df.drop("種類", axis=1)
最寄駅の距離を正規表現を使って変換
def convert_distance(x):
if pd.isna(x):
return np.nan
x = re.sub(r'[分]', '', x)
if 'H' in x:
x = float(x.replace('H', '')) * 60 # 'H'を時間として処理
elif '~' in x:
x = x.split('~')[0] # 範囲の場合は最小の値を使用
return float(x)
df["最寄駅:距離(分)"] = df["最寄駅:距離(分)"].apply(convert_distance)
df["面積(㎡)"] = df["面積(㎡)"].replace("2000㎡以上", 2000).astype(float)
y_list = {}
for i in df["建築年"].value_counts().keys():
if "平成" in i:
num = float(i.split("平成")[1].split("年")[0])
year = 33 - num
if "令和" in i:
num = float(i.split("令和")[1].split("年")[0])
year = 3 - num
if "昭和" in i:
num = float(i.split("昭和")[1].split("年")[0])
year = 96 - num
y_list[i] = year
y_list["戦前"] = 76
df["建築年"] = df["建築年"].replace(y_list)
# 取引時点の変換
year = {
"年第1四半期": ".25",
"年第2四半期": ".50",
"年第3四半期": ".75",
"年第4四半期": ".99"
}
year_list = {}
for i in df["取引時点"].value_counts().keys():
year_rep = i
for k, j in year.items():
if k in i:
year_rep = i.replace(k, j)
year_list[i] = year_rep
df["取引時点"] = df["取引時点"].replace(year_list).astype(float)
for col in ["都道府県名", "地区名", "最寄駅:名称", "間取り", "建物の構造", "用途", "今後の利用目的", "都市計画", "改装", "取引の事情等"]:
df[col] = df[col].astype("category")
return df
データ前処理の実行
def data_pre(df):
# 前処理のコード...
return df # 最後にデータフレームを返す
print(df.head()) # データの最初の数行を確認
学習用・検証用データの分割
df_train, df_val = train_test_split(df, test_size=0.2)
モデルのトレーニング
col = "取引価格(総額)_log"
train_y = df_train[col]
train_x = df_train.drop(col, axis=1)
val_y = df_val[col]
val_x = df_val.drop(col, axis=1)
LightGBM Datasetを作成
trains = lgb.Dataset(train_x, label=train_y)
valids = lgb.Dataset(val_x, label=val_y, reference=trains)
モデルのトレーニング
params = {
"objective": "regression",
"metric": "mae"
}
early_stopping_rounds を元に戻して試す
model = lgb.train(
params,
trains,
valid_sets=[valids], # valid_setsをリストに
valid_names=["validation"], # valid_namesを追加
num_boost_round=1000,
early_stopping_rounds=100 # 再度early_stopping_roundsに戻す
)
モデルのトレーニング (valid_namesを追加)
model = lgb.train(
params,
trains,
valid_sets=[valids], # valid_setsをリストに
valid_names=["validation"], # valid_namesを追加
num_boost_round=1000,
early_stopping_rounds=100
)
テストデータの予測
df_test = pd.read_csv("test.csv", index_col=0)
df_test = data_pre(df_test)
predict = model.predict(df_test)
df_test["取引価格(総額)_log"] = predict
df_test[["取引価格(総額)_log"]].to_csv("submit_test.csv")
TypeError Traceback (most recent call last)
Cell In[21], line 111
105 params = {
106 "objective": "regression",
107 "metric": "mae"
108 }
110 # early_stopping_rounds を元に戻して試す
--> 111 model = lgb.train(
112 params,
113 trains,
114 valid_sets=[valids], # valid_setsをリストに
115 valid_names=["validation"], # valid_namesを追加
116 num_boost_round=1000,
117 early_stopping_rounds=100 # 再度early_stopping_roundsに戻す
118 )
122 # モデルのトレーニング (valid_namesを追加)
123 model = lgb.train(
124 params,
125 trains,
(...)
129 early_stopping_rounds=100
130 )
TypeError: train() got an unexpected keyword argument 'early_stopping_rounds'
使用しているLightGBMのバージョンを確認 (lightgbm.version)。
train()メソッドで正しい引数が使われているか。