機械学習のアルゴリズム

機械学習のアルゴリズムは、
回帰分析、決定木がよく利用されます。
アルゴリズムとは、
問題を解くために具体的な手順を定式化したものです。
例えば、計算を解くための関数がアルゴリズムに相当します。

回帰分析とは、
データに最もフィットする線を引くことです。
単回帰は、原因一つに対して結果一つを求めることです。
y=ax+bです。
重回帰は、原因複数から結果を求めることです。
y=ax1+bx2+…です。
多項式は、べき乗の近似から結果を求めることです。
y=ax+bx^2+…です。
ロバストは、原因の外れ値を外して結果を求めることです。

決定木とは、
Yes or Noで答えられる条件によって予測を行う方法です。
条件となる部分をノード（接点）といい、
一番上の条件の部分を根ノード、
一番上の条件以外の部分を葉ノードといいます。

機械学習は、アルゴリズムを複数利用したモデルを利用します。
その時、
学習器を複数組み合わせて1つの学習モデルを生成する方法を
アンサンブル学習と呼びます。
機械学習ではアンサンブル学習を利用しますが、
2つの学習方法があります。
1つ目が、バギングです。
バギングとは、
全データから複数の訓練データに分けて、並列に処理、学習する方法です。
2つ目が、ブースティングです。
ブースティングとは、
訓練データを1つ目のモデルに学習させ、
予測結果と実際の値を比較します。
間違えた部分を正解できるように次のモデルにより学習させます。
この逐次処理を繰り返します。
最後は、統合したモデルで学習させる方法です。
アンサンブル学習は、複数モデルを利用しますが、
最後は、「多数決」「平均」「加重平均」を判断基準とします。

アルゴリズムの理解が機械学習には基礎となりますので、
もう少し解説をわかりやすくしていきたいと思います。