古典機械学習を学ぶ

本

線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。

運営しているクリエイター: 澁谷直樹

#アンサンブル学習

scikit-learn機械学習⑮アダブースト

前回は、ランダム・フォレストを使って実験しました。今回は、ブースティング（Boosting）の一種であるアダブーストを取り上げます。振り返ってみると、ランダム・フォレストは、アンサンブル学習の一つであるバギングを改良したものでした。ただし、アンサンブル学習には他にも種類があります。特によく知られているのが、ブースティングです。バギングとブースティングはなんとなく似ているという印象を持つ方もいるかもしれませんが、今回の記事ではその違いを明確に解説します。なお、バギングも

scikit-learn機械学習⑭ランダム・フォレスト実践編

前回は、ランダム・フォレスト（Random Forest）の理論的な側面を解説しました。今回は、scikit-learnを使って実験を行います。データセットとしては、scikit-learn.datasetsからワイン（wine)を使用します。今回初めて使うデータセットなので、簡単な分析をしてグラフなどを見ていきます。あとは、いつものようにデータセットを訓練用とテスト用に分割します。訓練用のデータセットにランダム・フォレストをフィットさせます。そして、学習を終えたモデ

scikit-learn機械学習⑬ランダム・フォレスト

前回は、scikit-learnのDecisionTreeClassifierを使って決定木（Decision Tree）の実験を行いました。今回は、その知識をさらに拡張して、ランダム・フォレスト（Random Forest）について解説します。大雑把に説明すると、ランダム・フォレストはたくさんの決定木を作って、それぞれの決定木に予測をさせます。そして、一番多くの「投票」を得たクラスがモデルの予測として採用されます。決定するための木がたくさんあるのでフォレスト（森）という