Stage2 機械学習

機械学習の基本的な手法を学習する。

1-1. 線形回帰

ある入力（説明変数/特徴量）から出力（目的変数）を予測する教師あり学習のモデルの一つ。線形関数であらわされるものは線形回帰、非線形関数であらわされるものは非線形回帰と言う。各係数は、全てのデータに対する予測値と、実際の値の差分を最小にする、最小二乗法で導出する。

＜実装演習＞

sklearnに含まれる初学者の学習用データセットとして有名なボストンハウジングデータを使った住宅価格の予測を試してみる。sklearnを使用すると簡単に実装できる。

1.2. 非線形回帰

線形回帰モデルとアプローチは変わらない。代表的なものとして多項式関数、ガウス型既定関数がある。複雑な関数にしすぎると過学習が発生しやすいため、表現力を抑止する必要がある。

＜実装演習＞

2. ロジスティック回帰

分類を行うモデル。シグモイド関数を用いて目的変数を0か1で出力する。

＜実装演習＞

タイタニックの乗客データから生死を判別する実装を行う。

3. 主成分分析

次元圧縮の手法。情報損失が少なくなるように圧縮する。

＜実装演習＞

乳がん検査データを用いて次元削減を行う。

4. アルゴリズム

・k近傍法

与えられたデータの最も近い点をk個取り、そのうち最も多く所属クラスに分類する教師あり学習の一つ。

・k-means

クラスタリング手法の一つ。教師なし学習。

＜実装演習＞

5. サポートベクターマシン

教師あり学習の二値分類モデル。データを分類する境界を見つける。境界は、最も近い点との距離が最大となる線を採用し、決定境界と呼ぶ。この際の最も近い点との距離をマージンと呼ぶ。

＜実装演習＞

まずは線形分離可能な場合は以下の通り。