2変数の判別関数とマハラノビス距離

起

判別関数を1変数から2変数に拡張するときに
2変数の正規分布の式が出てくるので少し難しく感じる
そこで今回はなるべく途中式を省略せずに2変数の判別関数を導いていきたい

承

まず判別関数を導出するにあたって2変数の正規分布の確率密度関数とマハラノビス距離を確認する

2変数の正規分布

1変数正規分布の確率密度関数は

$$
f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}exp(-\frac{1}{2}\frac{(x-\mu)^2}{\sigma^2})
$$

多変数になると分散の項に共分散の影響が出てくるので
分散共分散行列を$${\Sigma}$$として$${2}$$次元では

$$
f(x) = \frac{1}{\sqrt{(2\pi)^{2}|\Sigma|}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))
$$

この式の証明は下記が参考になる

【徹底解説】多変量正規分布とは | Academaid

マハラノビス距離

平均からの距離は2変数になると変数間でデータのスケールによってばらつきが出てしまうので、標準偏差で割って標準化する（変動係数みたいに）
これをマハラノビス距離と呼ぶ

$$
D^2 = (\frac{x-\mu}{\sigma})^2
$$

これを2変数に拡張すると
分散共分散行列を$${\Sigma}$$として

$$
D^2 = (x-\mu)^T\Sigma^{-1}(x-\mu)
$$

転

2変数の判別関数

正規分布に従う多変数の確率密度関数を下記のように設定する

$$
p_1 =   \frac{1}{\sqrt{(2\pi)^{2}|\Sigma_1|}}exp(-\frac{1}{2}(x-\mu_1)^T\Sigma^{-1}(x-\mu_1))
$$

$$
p_2 =   \frac{1}{\sqrt{(2\pi)^{2}|\Sigma_2|}}exp(-\frac{1}{2}(x-\mu_2)^T\Sigma^{-1}(x-\mu_2))
$$

これの対数比を取ると元々の指数部分がマハラノビス距離の形
$${D^2 = (x-\mu)^T\Sigma^{-1}(x-\mu)}$$になる

$$
log(\frac{p_1}{p_2}) = \frac{1}{2}log\frac{|\Sigma_2|}{|\Sigma_1|}
-\frac{1}{2}((x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) - (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2))
$$

1変数の場合

対数をとることができないので、指数部分の標準化した部分を
判別関数とする

$$
 (\frac{x-\mu}{\sigma})^2
$$

結

2変数の場合は確率密度関数の対数比を用いることで
マハラノビス距離が出てくる判別関数を導くことができた

またこの2次判別関数を展開すると下記のような
2次関数として表現することができる

$$
f(x) = x^TAx  + b^Tx +c
$$

$$
A = \frac{1}{2}(-\Sigma_1^{-1} + \Sigma_2^{-1})
\\
 b = \Sigma_1^{-1}\mu_1 - \Sigma_2^{-1}\mu_2
\\
 c = \frac{1}{2}(-\mu_1^T\Sigma_1^{-1}\mu_1 + \mu_2^T\Sigma_2^{-1}\mu_2)  + \frac{1}{2}log\frac{|\Sigma_2|}{|\Sigma_1|}
$$