scikit-learn : Support Vetor について

Support Vectorとは

一番はじめにこの名前をつけたのはこのペーパー(C. Cortes, V.N. Vapnik, 1995)のようだ。（wikipediaのSupport Vector Machinesの項のRef.から見つけた。）

この図に出てくるoptimal hyperplane とは二つのクラスの分類をおこなう最適な線形hyperplane(超平面)で、そのhyperplaneは各クラス側に最大のマージンを持っている。このマージンの２本の線上にある点、上の図ではグレーの四角で著されたvectorになる。これをsupport vectorと呼ぶ。

大量データがある多次元のスペースを多項式で表す時、大量の計算をどうするかというテクニカルな問題に直面する。

このhyperplaneを使うと訓練用のデータは多くなくても良いことが見受けられた。ここで使われる訓練用のデータ、マージンを決定するこのベクトルデータをsupport vectorと呼ぶ。

Support Vector Machines とは

分類および回帰分析に使用されるデータを分析する学習アルゴリズムを備えた教師あり学習モデル。wikipedia日本語ページもある。

1995のオリジナルのペーパーでは、Support Vector Networkという。

nu-Support Vector Machine (nu-SVM) とは

nuはギリシャアルファベットのnuのこと。ペーパーはこちら(Schölkopf, Smola, Williamson, and Bartlett, 2000)。

新しいパラメタ、nuを用いることでsupport vectorの数を効果的にコントロールすることができる。また、回帰の場合にはパラメータεを、分類の場合には正則化定数Cを取り除くこともできる。