近似誤差とMuntzの定理

近似誤差とMuntzの定理
 
$${X}$$ を内積$${\left( x,y \right)}$$ が定義された空間（たとえばヒルベルト空間）とする。$${E\subset X}$$ を$${X}$$ の部分空間としたとき、$${x\in X}$$の$${E}$$からの最良近似$${y}$$というのは、すべての$${z\in E}$$ に対して
$${\left\| x-y \right\|\le \left\| x-z \right\|}$$
をみたす$${y\in E}$$のことである。
 
定理　最良近似$${y}$$が存在すれば一意である。最良近似が存在するとき$${y}$$ が$${x\in X}$$の$${E}$$からの最良近似となっているための必要十分条件は$${x-y}$$ が$${E}$$ に直交することである。
これを$${x-y\bot E}$$と表す。
証明$${y}$$ が$${E}$$ の$${x\in X}$$からの最良近似であるを仮定する。$${x-y}$$ が$${E}$$ に直交することをしめすために$${\left\| z \right\|=1}$$となる$${z\in E}$$ をとり、
$${w=y+\left( x-y,z \right)z\in E}$$とおく。
$${{{\left\| x-y \right\|}^{2}}\le {{\left\| x-w \right\|}^{2}}=\left( x-w,x-w \right)}$$$${=\left( x-y-\left( x-y,z \right)z,x-y-\left( x-y,z \right)z \right)}$$$${={{\left\| x-y \right\|}^{2}}-{{\left| \left( x-y,z \right) \right|}^{2}}}$$。
これから、$${\left( x-y,z \right)=0}$$ すなわち、$${x-y\bot z}$$ がわかる。これから$${x-y\bot E}$$がわかる。ぎゃくに、$${y\in E}$$で$${x-y\bot E}$$を仮定する。任意に$${z\in E}$$ をとってやると$${y-z\in E}$$であり、$${x-y\bot y-z}$$。ピタゴラスの定理$${{{\left\| \left( x-y \right)+\left( y-z \right) \right\|}^{2}}={{\left\| x-y \right\|}^{2}}+{{\left\| y-z \right\|}^{2}}}$$において、$${y\ne z}$$とすると$${\left\| x-y \right\|<\left\| x-z \right\|}$$ となるので、$${z=y}$$のときのみ最良近似解になる。存在とその一意性が同時に得られた。証明終わり

$${{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}\in {{L}^{2}}\left[ 0,1 \right]}$$とする。 $${{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}}$$のグラム行列式は

$${G=G\left( {{x}_{1}},{{x}_{2}}\cdots ,{{x}_{n}} \right)=\left| \begin{matrix}\left( {{x}_{1}},{{x}_{1}} \right) & \left( {{x}_{1}},{{x}_{2}} \right) & \cdots & \left( {{x}_{1}},{{x}_{n}} \right) \\\left( {{x}_{2}},{{x}_{1}} \right) & \left( {{x}_{2}},{{x}_{2}} \right) & \cdots & \left( {{x}_{2}},{{x}_{n}} \right) \\\vdots & \vdots & \ddots & \vdots \\\left( {{x}_{n}},{{x}_{1}} \right) & \left( {{x}_{n}},{{x}_{2}} \right) &\cdots & \left( {{x}_{n}},{{x}_{n}} \right) \\\end{matrix} \right|}$$
で定義される。ここで、$${\left( x,y \right)}$$ は$${x,y\in {{L}^{2}}\left[ 0,1 \right]}$$の内積$${\int\limits_{0}^{1}{x\left( t \right)\overline{y\left( t \right)}dt}}$$をあらわす。
つぎはよく知られている。

命題$${{{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}}}$$が一次独立である必要十分条件は$${G\ne 0}$$ である。
証明
$${\sum\limits_{m=1}^{n}{{{a}_{m}}{{x}_{m}}}=0}$$ とする。$${{{x}_{j}}\,\,\,j=1,2\cdots n}$${ との内積をとると
$${\left( {{x}_{j}},\sum\limits_{m=1}^{n}{{{a}_{m}}}{{x}_{m}} \right)=\sum\limits_{m=1}^{n}{{{{\bar{a}}}_{m}}\left( {{x}_{j}},{{x}_{m}} \right)}=0}$$,$${j=1,2\cdots n}$$となるが、この式はグラム行列を

$${A=\left[ \begin{matrix}\left( {{x}_{1}},{{x}_{1}} \right) & \left( {{x}_{1}},{{x}_{2}} \right) & \cdots & \left( {{x}_{1}},{{x}_{n}} \right) \\\left( {{x}_{2}},{{x}_{1}} \right) & \left( {{x}_{2}},{{x}_{2}} \right) & \cdots & \left( {{x}_{2}},{{x}_{n}} \right) \\\vdots &\vdots & \ddots & \vdots \\\left( {{x}_{n}},{{x}_{1}} \right) & \left( {{x}_{n}},{{x}_{2}} \right) & \cdots & \left( {{x}_{n}},{{x}_{n}} \right) \\\end{matrix} \right]}$$

とするとき、

$${A\left( \begin{matrix}{{{\bar{a}}}_{1}} \\{{{\bar{a}}}_{2}} \\\vdots \\{{{\bar{a}}}_{n}} \\\end{matrix} \right)=0}$$

と書きなおせる。 $${G\ne 0}$$という条件は$${A}$$ に逆行列が存在することすなわち、

$${A\left( \begin{matrix}{{a}_{1}} \\{{a}_{2}} \\\vdots \\{{a}_{n}} \\\end{matrix} \right)=0}$$が$${\left( \begin{matrix}{{a}_{1}} \\{{a}_{2}} \\\vdots \\{{a}_{n}} \\\end{matrix} \right)=0}$$

以外になりたたないことの必要充分である。
これは$${\sum\limits_{m=1}^{n}{{{a}_{m}}{{x}_{m}}}=0}$$がなりたつには$${{{a}_{1}}={{a}_{2}}=\cdots ={{a}_{n}}=0}$$ でなくてはならないという一次独立の条件とおなじである。証明終わり
 
$${F=span\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}} \right)}$$とする。いま、$${x\in X}$$から$${F}$$ への最良近似$${y}$$ を求めることをかんがえる。$${y\in F}$$ であるから$${y=\sum\limits_{m=1}^{n}{{{a}_{m}}{{x}_{m}}}}$$ とかけており上の定理より、$${{{x}_{j}}\bot x-y}$$, $${j=1,2\cdots n}$$を満たす。すなわち、$${\left( {{x}_{j}},x-y \right)=0}$$であるから、 $${\left( {{x}_{j}},x \right)=\left( {{x}_{j}},y \right)=\sum\limits_{m=1}^{n}{{{{\bar{a}}}_{m}}}\left( {{x}_{j}},{{x}_{m}} \right)}$$となる。すなわち、
これから、

$${\left( \begin{matrix}\left( {{x}_{1}},x \right) \\\left( {{x}_{2}},x\right) \\\vdots \\\left( {{x}_{n}},x \right) \\\end{matrix}\right)=A\left( \begin{matrix}{{{\bar{a}}}_{1}} \\{{{\bar{a}}}_{2}} \\\vdots \\{{{\bar{a}}}_{n}} \\\end{matrix} \right)}$$

という$${{{\bar{a}}_{1}},{{\bar{a}}_{2}},\cdots ,{{\bar{a}}_{n}}}$$ を未知数とする連立一次方程式を得る。線形代数学の教科書にあるCramerの公式より
$${{{\bar{a}}_{m}}=\frac{{{G}^{\left( m \right)}}}{G}}$$
が得られる。ただし、$${{{G}^{\left( m \right)}}}$$ は$${G}$$ の第$${m}$$列を
$${\left( \begin{matrix}\left( {{x}_{1}},x \right) \\\left( {{x}_{2}},x \right) \\\vdots \\\left( {{x}_{n}},x \right) \\\end{matrix} \right)}$$

で置き換えてつくった行列式である。したがって$${x\in X}$$から$${F}$$ への最良近似は
$${y=\sum\limits_{m=1}^{n}{\frac{\overline{{{G}^{\left( m \right)}}}}{{\bar{G}}}{{x}_{m}}}}$$
で与えられる。つぎに、最良近似$${y=\sum\limits_{m=1}^{n}{{{a}_{m}}{{x}_{m}}}}$$と$${x}$$の距離、すなわち最適二乗誤差を$${d}$$とすると$${{{d}^{2}}={{\left\| x-y \right\|}^{2}}=\left( x-y,x-y \right)=\left( x,x \right)-\left( x,y \right)}$$
なので、
$${\left( x,x \right)=\left( x,y \right)+{{d}^{2}}=\left( x,\sum\limits_{m=1}^{n}{{{a}_{m}}}{{x}_{m}} \right)+{{d}^{2}}=\sum\limits_{m=1}^{n}{{{{\bar{a}}}_{m}}}\left( x,{{x}_{m}} \right)+{{d}^{2}}}$$
となる。うえの連立1次方程式にこの式を最下行として付け加えて

$${\left[ \begin{matrix}\left( {{x}_{1}},{{x}_{1}} \right) & \left( {{x}_{1}},{{x}_{1}} \right) & \cdots & \left( {{x}_{1}},{{x}_{n}} \right) & 0 \\\left( {{x}_{2}},{{x}_{1}} \right) & \left( {{x}_{2}},{{x}_{2}} \right) & \cdots & \left( {{x}_{2}},{{x}_{n}} \right) & 0 \\\vdots & \vdots & \ddots & \vdots & \vdots \\\left( {{x}_{n}},{{x}_{1}} \right) & \left( {{x}_{n}},{{x}_{2}}\right)&\cdots & \left( {{x}_{n}},{{x}_{n}} \right) & 0 \\\left( x,{{x}_{1}} \right) & \left( x,{{x}_{2}} \right) & \cdots&\left(x,{{x}_{n}} \right) & 1 \\\end{matrix} \right]\left( \begin{matrix}{{{\bar{a}}}_{1}} \\{{{\bar{a}}}_{2}} \\\vdots \\{{{\bar{a}}}_{n}} \\{{d}^{2}} \\\end{matrix} \right)=\left( \begin{matrix}\left( {{x}_{1}},x \right) \\\left( {{x}_{2}},x \right) \\\vdots \\\left( {{x}_{n}},x \right) \\\left( x,x \right) \\\end{matrix} \right)}$$

という連立1次方程式を作る。ふたたびCramerの公式を使うと

$${{{d}^{2}}=\left| \begin{matrix}\left( {{x}_{1}},{{x}_{1}} \right) & \left( {{x}_{1}},{{x}_{1}} \right) & \cdots & \left( {{x}_{1}},{{x}_{n}} \right) & \left( {{x}_{1}},x \right) \\\left( {{x}_{2}},{{x}_{1}} \right) & \left( {{x}_{2}},{{x}_{2}} \right) & \cdots & \left( {{x}_{2}},{{x}_{n}} \right) & \left( {{x}_{2}},x \right) \\\vdots & \vdots & \ddots & \vdots & \vdots \\\left( {{x}_{n}},{{x}_{1}} \right) & \left( {{x}_{n}},{{x}_{2}} \right) & \cdots & \left( {{x}_{n}},{{x}_{n}} \right) & \left( {{x}_{n}},x \right) \\\left( x,{{x}_{1}} \right) & \left( x,{{x}_{2}} \right) & \cdots & \left( x,{{x}_{n}} \right) & \left( x,x \right) \\\end{matrix} \right|/\left| \begin{matrix}\left( {{x}_{1}},{{x}_{1}} \right) & \left( {{x}_{1}},{{x}_{1}} \right) & \cdots & \left( {{x}_{1}},{{x}_{n}} \right) & 0 \\\left( {{x}_{2}},{{x}_{1}} \right) & \left( {{x}_{2}},{{x}_{2}} \right) & \cdots & \left( {{x}_{2}},{{x}_{n}} \right) & 0 \\\vdots & \vdots & \ddots & \vdots & \vdots \\\left( {{x}_{n}},{{x}_{1}} \right) & \left( {{x}_{n}},{{x}_{2}} \right) & \cdots & \left( {{x}_{n}},{{x}_{n}} \right) & 0 \\\left( x,{{x}_{1}} \right) & \left( x,{{x}_{2}} \right) & \cdots & \left( x,{{x}_{n}} \right) & 1 \\\end{matrix} \right|}$$

$${=\frac{G\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}},x \right)}{G\left( {{x}_{1}},{{x}_{2}},\cdots ,{{x}_{n}} \right)}}$$
を得る。$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$における多項式近似の問題でWeierstrassの定理などを使って$${span\left\{ 1,t,{{t}^{2}},\cdots \right\}}$$が$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$で 稠密がいえるのであるが、$${{{t}^{n}},}$$$${n=0,1,2,\cdots }$$のかわりにその一部分、$${{{t}^{{{n}_{j}}}},j=1,2,\cdots }$$をとり$${span\left\{ {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots \right\}}$$が$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$で 稠密がいえないかという問題が生じる。これについてMuntzは次を証明した。
 
定理Muntz (1914)}$${1\le {{n}_{1}}<{{n}_{2}}<\cdots }$$を正整数とする。$${span\left\{ {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots \right\}}$$が$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$で 稠密であるための必要十分条件は
$${\sum\limits_{j=1}^{\infty }{\frac{1}{{{n}_{j}}}}=\infty }$$
となることである。
証明：
$${span\left\{ 1,t,{{t}^{2}},\cdots \right\}}$$が$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$で 稠密であるから、$${span\left\{ {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots \right\}}$$が$${{{L}^{2}}\left( \left[ 0,1 \right] \right)}$$で 稠密であるためには、$${m=1,2,3,\cdots }$$について$${{{t}^{m}}\in }$$ $${span\left\{ {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots \right\}}$$となることが必要十分である。そこで、$${m\ne {{n}_{j}}}$$,$${j=1,2,3,\cdots }$$を固定して、$${k=1,2,3,\cdots }$$ に対して$${{{F}_{k}}=span\left\{ {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots ,{{t}^{{{n}_{k}}}} \right\}}$$ とおく。そして$${{{d}_{m,k}}}$$を$${{{t}^{m}}}$$ から$${{{F}_{k}}}$$へ の最短距離とするとうえでのべたように
$${d_{m,k}^{2}=\frac{G\left( {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots ,{{t}^{{{n}_{k}}}},{{t}^{m}} \right)}{G\left( {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots ,{{t}^{{{n}_{k}}}} \right)}}$$
が得られる。
$${\left( {{t}^{p}},{{t}^{q}} \right)=\int\limits_{0}^{1}{{{t}^{p+q}}dt}=\frac{1}{p+q+1}}$$より
$${d_{m,k}^{2}=\frac{\prod\limits_{j=1}^{k}{{{\left( {{n}_{j}}-m \right)}^{2}}}}{\left( 2m+1 \right)\prod\limits_{j=1}^{k}{{{\left( {{n}_{j}}+m+1 \right)}^{2}}}}}$$
となる。実際これは、次の一般的な公式

$${{{\Delta }_{n}}=\left| \begin{matrix}\frac{1}{{{a}_{1}}+{{b}_{1}}} & \frac{1}{{{a}_{1}}+{{b}_{2}}} & \cdots & \frac{1}{{{a}_{1}}+{{b}_{n}}} \\\frac{1}{{{a}_{2}}+{{b}_{1}}} & \frac{1}{{{a}_{2}}+{{b}_{2}}} &\cdots & \frac{1}{{{a}_{2}}+{{b}_{n}}} \\\vdots & \vdots & \ddots & \vdots \\\frac{1}{{{a}_{n}}+{{b}_{1}}} & \frac{1}{{{a}_{n}}+{{b}_{2}}} & \cdots & \frac{1}{{{a}_{n}}+{{b}_{n}}} \\\end{matrix} \right|}$$

$${=\frac{\prod\limits_{i=1}^{n-1}{\left( {{a}_{n}}-{{a}_{i}} \right)\left( {{b}_{n}}-{{b}_{i}} \right)}}{\left( {{a}_{n}}+{{b}_{n}} \right)\prod\limits_{i=1}^{n-1}{\left( {{a}_{n}}+{{b}_{i}} \right)\left( {{b}_{n}}+{{a}_{i}} \right)}}{{\Delta }_{n-1}}}$$
において、
$${n=k+1}$$ ,$${{{a}_{i}}={{n}_{i}}+1,{{b}_{i}}={{n}_{i}}}$$,
$${i=1,2,\cdots ,k}$$,$${{{a}_{n}}=m+1,{{b}_{n}}=m}$$
としてやると
$${d_{m,k}^{2}=\frac{G\left( {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots ,{{t}^{{{n}_{k}}}},{{t}^{m}} \right)}{G\left( {{t}^{{{n}_{1}}}},{{t}^{{{n}_{2}}}},\cdots ,{{t}^{{{n}_{k}}}} \right)}}$$$${=\frac{\prod\limits_{i=1}^{k}{{{\left( {{n}_{i}}-m \right)}^{2}}}}{\left( 2m+1 \right)\prod\limits_{i=1}^{k}{{{\left( m+{{n}_{i}}+1 \right)}^{2}}}}}$$
が得られる。$${\underset{k\to \infty }{\mathop{\lim }}\,{{d}_{m,k}}=0}$$ となる条件をもとめる。これは、$${\log \left( 2m+1 \right)d_{m,k}^{2}=\sum\limits_{i=1}^{k}{\left\{ \log {{\left( 1-\frac{m}{{{n}_{i}}} \right)}^{2}}-\log {{\left( 1+\frac{m+1}{{{n}_{i}}} \right)}^{2}} \right\}}}$$
と書き直してみると、右辺が$${-{{\infty }^{{}}}}$$に発散する条件に等しいことがわかる。
すこしさぼるが$${-1< x< 1}$$において$${\log \frac{1+x}{1-x}=2x\left( 1+\frac{{{x}^{2}}}{3}+\frac{{{x}^{4}}}{5}+\cdots \right)}$$という展開式をつかって
$${\log \left( 1-\frac{m}{{{n}_{i}}} \right)-\log \left( 1+\frac{m}{{{n}_{i}}} \right)=-\frac{m}{{{n}_{i}}}\left( 1+O{{\left( \frac{m}{{{n}_{i}}} \right)}^{2}} \right)}$$としてみると、$${\sum\limits_{j=1}^{\infty }{\frac{1}{{{n}_{j}}}}=\infty }$$がその条件であることがわかる。
 
距離は$${{{L}^{2}}\left[ 0,1 \right]}$$において考えたが、$${C\left[ 0,1 \right]}$$ではどうなるか？
同等である。不等式
$${{{\left[ \int\limits_{0}^{1}{{{\left| x\left( t \right)-\sum\limits_{i=1}^{k}{{{a}_{i}}{{t}^{{{n}_{i}}}}} \right|}^{2}}dt} \right]}^{1/2}}\le \max \left| x\left( t \right)-\sum\limits_{i=1}^{k}{{{a}_{i}}{{t}^{{{n}_{i}}}}} \right|}$$
より、
$${C\left[ 0,1 \right]}$$で稠密$${\Rightarrow {{L}^{2}}\left[ 0,1 \right]}$$ で稠密。そして、
$${\left| x\left( t \right)-\sum\limits_{i=1}^{k}{{{a}_{i}}{{t}^{{{n}_{i}}}}} \right|=m\left| \int\limits_{0}^{t}{\left[ {{t}^{m-1}}-\sum\limits_{i=1}^{k}{{{b}_{i}}{{t}^{{{n}_{i}}-1}}} \right]}dt \right|}$$
$${\le m\int\limits_{0}^{t}{\left| {{t}^{m-1}}-\sum\limits_{i=1}^{k}{{{b}_{i}}{{t}^{{{n}_{i}}-1}}} \right|}dt}$${}$${\le m{{\left[ \int\limits_{0}^{1}{{{\left| {{t}^{m-1}}-\sum\limits_{i=1}^{k}{{{b}_{i}}{{t}^{{{n}_{i}}-1}}} \right|}^{2}}dt} \right]}^{1/2}}}$$
から$${{{L}^{2}}\left[ 0,1 \right]}$$で稠密$${\Rightarrow C\left[ 0,1 \right]}$$で稠密である。ここで、$${{{b}_{i}}=\frac{{{n}_{i}}{{a}_{i}}}{m}}$$としている。結局Muntzの条件は$${ C\left[ 0,1 \right]}$$においても有効である。