scikit-learn機械学習⑱勾配ブースティング

前回は、グリッド・サーチとランダム・サーチでアダブーストのハイパーパラメータのチューニングを行いました。

今回は、アダブーストと同じブースティングの一種である、勾配ブースティング（Gradient Boosting）を紹介します。

残差（予測誤差）を減らすために弱学習器を追加していくというのが基本的なアプローチです。この学習プロセスを解説します。

なお、勾配ブースティングにおける残差と勾配の関係を理解し、なぜ勾配ブースティングが機能するのかを解説します。