古典機械学習を学ぶ

本

線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。

運営しているクリエイター: 澁谷直樹

#アダブースト

scikit-learn機械学習⑲GBC実践編

前回は、勾配ブースティングの理論的な側面を解説しました。今回は、scikit-learnのGradientBoostingClassifier（GBC）を使って実験を行います。まずは、デフォルトのパラメータで学習・評価を行い、その後にランダム・サーチを使ってより性能を高められるかどうかを確認します。さらに、アダブーストとの比較も行います。また、重要な特徴量をグラフ表示して考察を行います。テクニックとして、ラベルごとに特徴量の重要度を表示する方法を紹介します。

scikit-learn機械学習⑱勾配ブースティング

前回は、グリッド・サーチとランダム・サーチでアダブーストのハイパーパラメータのチューニングを行いました。今回は、アダブーストと同じブースティングの一種である、勾配ブースティング（Gradient Boosting）を紹介します。残差（予測誤差）を減らすために弱学習器を追加していくというのが基本的なアプローチです。この学習プロセスを解説します。なお、勾配ブースティングにおける残差と勾配の関係を理解し、なぜ勾配ブースティングが機能するのかを解説します。

scikit-learn機械学習⑯アダブースト実践編

前回は、アダブーストの理論的な側面を紹介しました。今回は、scikit-learnを使って簡単な実験を行います。今回使うデータセット digits は数字の画像データです。各数字は、８x８ピクセルの画像で、ラベルは０から９までの10個のクラスになります。以下は、digits からのサンプル画像です。このような画像を scikit-learnの AdaBoostClassifier で分類します。まず、いつものように探索的なデータ分析を行います。次に、データセッ

scikit-learn機械学習⑮アダブースト

前回は、ランダム・フォレストを使って実験しました。今回は、ブースティング（Boosting）の一種であるアダブーストを取り上げます。振り返ってみると、ランダム・フォレストは、アンサンブル学習の一つであるバギングを改良したものでした。ただし、アンサンブル学習には他にも種類があります。特によく知られているのが、ブースティングです。バギングとブースティングはなんとなく似ているという印象を持つ方もいるかもしれませんが、今回の記事ではその違いを明確に解説します。なお、バギングも