特異値分解における特異値の求め方

特異値分解は固有値分解の一般化

正方行列の場合は固有値分解にできるが
正方行列以外の場合は任意の行列 $${A}$$に対して下記のように特異値分解できる
（証明は少し難しいので　https://risalc.info/src/svd.html　を参照）

$$
A = U \sum V^{T} \\
{}\\
= (\overrightarrow{u_1}  \overrightarrow{u_2} \cdot \cdot \cdot       \overrightarrow{u_n}) \quad \sum \quad (\overrightarrow{v_1}^T  \overrightarrow{v_2}^T \cdot \cdot \cdot \overrightarrow{v_n}^T) 
$$

ここで $${U, V}$$は直行(orthogonal)行列、$${\sum}$$は対角(diagonal)行列

https://manabitimes.jp/math/1218

特異値と特異値ベクトル

$$
A = U \sum V^T
$$

これを特定の縦ベクトルに注目してみると

$$
A = \overrightarrow{u} \sigma \overrightarrow{v}^T
$$

これに右から$${ \overrightarrow{v}}$$をかけて、$${ \overrightarrow{v}^T \overrightarrow{v} = 1}$$を用いると

$$
A \overrightarrow{v} =  \sigma \overrightarrow{u} 
$$

またAの式について転置を考えると

$$
A^T = \overrightarrow{v} \sigma \overrightarrow{u}^T
$$

これに右から$${ \overrightarrow{u}}$$をかけて、$${ \overrightarrow{u}^T \overrightarrow{u} = 1}$$を用いると

$$
A^T \overrightarrow{u} =  \sigma \overrightarrow{v} 
$$

https://www.momoyama-usagi.com/entry/math-linear-algebra-ap07

特異値の求め方

$${A \overrightarrow{v} =  \sigma \overrightarrow{u}}$$について左から$${A^T}$$をかけると

$$
A^T A \overrightarrow{v} = \sigma A^T \overrightarrow{u} \\
{}\\
\\
= \sigma ( \sigma \overrightarrow{v})
\\ = \sigma^2  \overrightarrow{v}
$$

これを整理すると

$$
(A^T A - \sigma^2 E ) \overrightarrow{v} = \overrightarrow{0}
$$

同様に

$$
(A A^T - \sigma^2 E) \overrightarrow{u} = \overrightarrow{0}
$$

https://www.momoyama-usagi.com/entry/math-linear-algebra-ap07