マガジンのカバー画像

古典機械学習を学ぶ

26
線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。
運営しているクリエイター

#kNN

scikit-learn機械学習㉑k-NN実践編

前回は、ノンパラメトリック手法であるk近傍アルゴリズム(k近傍法、k-Nearest Neighbors、k-NN)の紹介をしました。特に、KDツリーの構造について解説しました。今回は、scikit-learn の KNeighborsClassifier を使った実験を行います。 以前に実験したGBC(勾配ブースティング)などと比較してどのような性能を発揮するでしょうか。また、層化サンプリングについても解説します。

scikit-learn機械学習⑳k近傍アルゴリズム

前回は、勾配ブースティングによる分類の実験を行いました。 これまでブースティング、バギング、ランダム・フォレスト、決定木などを扱ってきましたが、これらは全てノンパラメトリックな手法です。 ノンパラメトリックの意味は後で解説しますが、今回紹介するk近傍アルゴリズム(k近傍法、k-Nearest Neighbors、k-NN)もノンパラメトリックな手法になります。 k-近傍アルゴリズム(以下、k-NN)の基本的な仕組みは単純です。以下、分類を例として解説します。 下図を見