線形、非線形の本当の意味

２つの間違った説明

線形とは、

1. 目的変数が、説明変数の一次関数で表される

2. 目的変数が、説明変数の一次式で表される

とされるが、1は乱暴であり、2は不十分である。

線形とは関数を行列に変換できること

線形代数において、線形とは、関数 f が以下の性質を持つことをいう。

$$
\begin{align*}
&\text{加法性} \; &f(\mathbf{a} + \mathbf{b}) &= f(\mathbf{a}) + f(\mathbf{b}) \\
&\text{斉次性} \; &f(k\mathbf{a}) &= k f(\mathbf{a})
\end{align*}
$$

ここで大事なことは２つ

1. 代数 a, b がベクトルであること

2. 線形性から行列に変換できること

1. 代数がベクトルであること

回帰における非線形の代表として、指数関数がよく取り上げられる。
これは、指数がベクトルではないからである。

一方、単回帰、重回帰でよく使用される多項式は、ベクトルである。

この２つの違いは、以下のベクトルの公理を満たすかどうか。
$${\lambda}$$, $${\mu}$$ を実数とすると

$$
\begin{align*}
\mathbf{a} + \mathbf{b} &= \mathbf{b} + \mathbf{a}\\
(\mathbf{a} + \mathbf{b}) + \mathbf{c} &= \mathbf{a} + (\mathbf{b} + \mathbf{c})\\
\mathbf{a} + \mathbf{0} &= \mathbf{a}\\
\mathbf{a} + \mathbf{a'} &= \mathbf{0}\\
(\lambda \mu)\mathbf{a} &= \lambda(\mu \mathbf{a})\\
(\lambda + \mu)\mathbf{a} &= \lambda \mathbf{a} + \mu \mathbf{a}\\
\lambda(\mathbf{a} + \mathbf{b}) &= \lambda\mathbf{a} + \lambda \mathbf{b}\\
1 \mathbf{a} &= \mathbf{a}
 \end{align*}
$$

多項式の集合は、この公理を満たすが、指数関数は、0が存在しないので、ベクトルではない。

この公理は、「次元という概念が定義できる最小の枠組み」 が定義されている。

2. 線形性から行列に変換できる

関数が線形性を満たす時、行列の積の定義を使って、関数を行列に変換する。
このとき、行列の積の定義から、ベクトルを

• 列ベクトル(n 行 1 列 行列の別名)と表すのか

• 行ベクトル(1 行 n 列 行列の別名)と表すのか

どちらかを宣言する必要がある (行列に変換するためのマントラ)。

例として、2次元のベクトル $${\lambda\mathbf{a} + \mu \mathbf{b}}$$ が一意で表されるとし、関数 f が線形性を持つとすると、
ベクトルを列ベクトルとして表す場合、

$$
\begin{align*}
f(\lambda\mathbf{a} + \mu\mathbf{b})
&= f(\lambda\mathbf{a}) + f(\mu\mathbf{b}) \quad - ①\\
&= \lambda f(\mathbf{a}) + \mu f(\mathbf{b}) \quad - ② \\
&= \begin{pmatrix}f(\mathbf{a}) & f(\mathbf{b})
\end{pmatrix}
\begin{pmatrix}
\lambda \\
\mu \\
\end{pmatrix} \quad - ③
\end{align*}
$$

① - 加法性から分割
② - 斉次性から係数を取り出し
③ - 行列の積の定義を使って、行列に変換

まとめ

• 線形とは、関数を行列に変換できること

• 関数から行列に変換する際、マントラが唱えられる理由は、行列の積の定義による要請

• 列ベクトルや行ベクトルは、行列のエイリアス(別名)
  行列はその形や性質に応じて、各種のエイリアスを持つ。
  単位行列、三角行列、対称行列など。