古典機械学習を学ぶ

本

線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。

運営しているクリエイター: 澁谷直樹

#ブースティング

scikit-learn機械学習⑱勾配ブースティング

前回は、グリッド・サーチとランダム・サーチでアダブーストのハイパーパラメータのチューニングを行いました。今回は、アダブーストと同じブースティングの一種である、勾配ブースティング（Gradient Boosting）を紹介します。残差（予測誤差）を減らすために弱学習器を追加していくというのが基本的なアプローチです。この学習プロセスを解説します。なお、勾配ブースティングにおける残差と勾配の関係を理解し、なぜ勾配ブースティングが機能するのかを解説します。

scikit-learn機械学習⑮アダブースト

前回は、ランダム・フォレストを使って実験しました。今回は、ブースティング（Boosting）の一種であるアダブーストを取り上げます。振り返ってみると、ランダム・フォレストは、アンサンブル学習の一つであるバギングを改良したものでした。ただし、アンサンブル学習には他にも種類があります。特によく知られているのが、ブースティングです。バギングとブースティングはなんとなく似ているという印象を持つ方もいるかもしれませんが、今回の記事ではその違いを明確に解説します。なお、バギングも

古典機械学習を学ぶ

フォローしませんか？

#ブースティング

scikit-learn機械学習⑱勾配ブースティング

scikit-learn機械学習⑮アダブースト