0

Python: XGBoost を使ってみる

上記ページの「学習過程を可視化する」の項目での質問です。

上記HPのサンプルコードで

# 学習過程を記録するための辞書
evals_result = {}
print('@A'. evals_result)
bst = xgb.train(xgb_params,
                dtrain,
                num_boost_round=1000,  # ラウンド数を増やしておく
                evals=evals,
                evals_result=evals_result,
                )

print('@B'. evals_result)

@Aの部分でprintするとevals_resultは当然カラです。
しかし@Bのところでprintするとevals_resultにいろいろと何かが代入されています。

evals_resultには何が代入されているのですか?

HPの「# 学習の課程を折れ線グラフとしてプロットする」以降の部分がなぜ出力されるのかがよくわからなくコードを1行1行追ってみています。

とりあえず evals_result について解説をいただきたく思います。
よろしくお願いします。

2
  • ソースコードにコメントされている通り、「# 学習過程を記録するための辞書」だと思いますけど、そういう意図の質問ではないでしょうか? Commented 2020年10月6日 0:37
  • 質問文が分かりづらくてすみません。 evals_resultには何も代入していないのに、なぜか@B時点には何やらが代入されています。 まずそこがよくわからないです。 xgb.trainのところでも「カラのevals_resultを.trainの引数evals_result引数に代入している」ように見えます。 またxgb.trainによってevals_resultに何かが代入されたのだとしたら、ではなんでevals_result = {}が必要なの?とまた疑問が浮かびます。 また「学習過程を記録するための辞書」というのが何を指しているのかもわからないです。 すみません。こんな状態です。 evals_resultにはどこで何が代入されたのでしょうか?そこがよくわかりません。
    – qkun
    Commented 2020年10月6日 0:54

2 件の回答 2

1

evals_resultには何も代入していないのに、なぜか@B時点には何やらが代入されています。 まずそこがよくわからないです。

何も代入されていない(空の辞書であった)evals_resultに対して、xgb.train()の処理中に要素(学習用データと検証用データの損失)が追加されています。

xgb.trainのところでも「カラのevals_resultを.trainの引数evals_result引数に代入している」ように見えます。

はい。そうです。xgb.train()の処理中にevals_resultに値が代入(要素が追加)されるように、引数で渡しています。「参照渡し」を理解されていないのかもしれませんね。このキーワードでググってみて下さい。

またxgb.trainによってevals_resultに何かが代入されたのだとしたら、ではなんでevals_result = {}が必要なの?とまた疑問が浮かびます。

定義されていない変数は使えないからです。

また「学習過程を記録するための辞書」というのが何を指しているのかもわからないです。 すみません。

参照しているページを見ると、この辞書から取得した学習用データと検証用データの損失をプロットしています。100ラウンドを超えると、学習が進んでも精度が上がっていかない様子が読み取れますよね。

こんな状態です。 evals_resultにはどこで何が代入されたのでしょうか?そこがよくわかりません。

前述した通りです。

evals_resultxgb.train()の戻り値にしていないのは、おそらく他の同様のメソッドとの統一を図るためではないかと思います(※推測ですが...)。

1
  • 書き込みありがとうございます。 これからひとつづつ確認していこうと思います。 理解に少し時間がかかりそうなので、先にお礼を書かせていただきました。
    – qkun
    Commented 2020年10月6日 14:11
1

@Kohei TAMURA さん回答への補足(蛇足?)と、今後の学習のための考え方として、「何かを疑問に感じたら、使用しているAPIや元となっている仕様を調べてみましょう。」を心掛けてください。

以下にAPIの仕様が記述されています。
xgboost.train(params, dtrain, num_boost_round=10, evals=(), obj=None, feval=None, maximize=False, early_stopping_rounds=None, evals_result=None, verbose_eval=True, xgb_model=None, callbacks=None)

  • evals_result (dict) –
    This dictionary stores the evaluation results of all the items in watchlist.
    Example: with a watchlist containing [(dtest,'eval'), (dtrain,'train')] and a parameter containing ('eval_metric': 'logloss'), the evals_result returns

    {'train': {'logloss': ['0.48253', '0.35953']},
    'eval': {'logloss': ['0.480385', '0.357756']}}
    

つまり質問の「evals_resultには何が代入されているのですか?」については、train()メソッドの処理により、その結果が格納されているということになるでしょう。

上記説明や、質問の参照記事、および以下の記事を合わせると、watchlistというのはevalsパラメータに指定されたDMatrixと名称のtupleのリストでしょう。
Access train and evaluation error in xgboost

コメントの「なんでevals_result = {}が必要なの?」と「学習過程を記録するための辞書とは何か?」の疑問については、その記述自身や英語記事回答の「One way to save your intermediate results」、そしてAPI仕様の「early_stopping_roundsパラメータ」の記述を基に推測すると、evals_resultに情報を格納して、処理を中断・再開したり、パラメータを調整して何回もtrain()メソッドを呼ぶやり方があるのかもしれません。そのために1回の呼び出し毎に新規の結果として通知するのではなく、使い回せるように参照渡しになっている可能性が考えられます。

そうした機能があるという推測が当たっていれば、evals_result = {}は一番最初のクリーンな状態を設定していることになるでしょう。

1
  • 書き込みありがとうございます。 これからひとつづつ確認していこうと思います。 理解に少し時間がかかりそうなので、先にお礼を書かせていただきました。
    – qkun
    Commented 2020年10月6日 14:10

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。