【正規方程式の性質🌟】最小二乗推定量はどのような関係性にあるのだろうか？：計量経済学 No.38
今回は、重回帰分析最小二乗推定法における正規方程式のインプリケーションについて理解を進めていきたいと思います
行列、ベクトルなどによる表現をすることがありますが、基礎的なことなのでそこまで難解な内容ではないと思っています💦
結果として、最小二乗推定値がどのような関係性で表されているのか？という点をご理解いただければ幸いです💗
Introduction：計量経済学への挑戦🔥
経済学部に通う私も
いよいよ大学「学部」最終年になり
学問に全力を注ぐ時間も限られてきました👍
「知は力なり」という言葉を信じて
残りの大学生生活を満喫したいと思います
学部レベルのマクロ経済学は
個人的によく理解できたつもりです
しかしながら、本当の経済の動向を理解するには、学部レベルの知識ではお話になりません😥
また、正しい計量経済学の知識やデータ分析のリテラシーを会得しなければなりません💦
現実の経済データを、理論モデルと当てはめ
正しい計量手法によって実証分析できる力を醸成したら
きっと将来どこかで活躍できる人財になれる可能性を高めることに繋がると思います
何事もアウトプット前提のインプットが
大事であると、noteで毎日発信してきました
これは、どのような内容で
あっても当てはまります👍
先行研究の論文を一概に読んでも
記憶に残っていなかったり
大切な観点を忘れてしまっていたりしたら
学習の進捗は滞ってしまうと思います
だからこそ、この「note」をフル活用して
自分の知識を1％でも、定着させ
誰にでもわかりやすい解説をアウトプットできるように努めていきたいと思います
なお、前回のお復習いはこちらからご確認ください💗
それでは、私がこれからアウトプットする
計量経済学において最重要なパートである
時系列分析のモデル理論解説を
どうぞ最後まで、ご愛読ください📖
OLSにおける正規方程式のインプリケーション✨
前回の復習になりますが、最小二乗法とは回帰式の残差平方和(Residual Sum of Squares)：式(1)を最小にすることによって求められます
$$
Residual :e_i \\e_i =y_i -\hat{y_i }\\ =y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\hat{\beta_2} x_{2i}-\cdots-\hat{\beta_k} x_{ki} \\ \\RSS=\displaystyle\sum^n_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i}\\ -\hat{\beta_2} x_{2i}-\cdots-\hat{\beta_k} x_{ki})^2 (1)
$$
最小二乗法による正規方程式の導出は以下の通りでした
$$
Normal equation of Multiple regression\\ \\
\displaystyle\sum_{i=1}y_i =\displaystyle\sum_{i=1}(a+\hat{\beta_1}x_{1i}+\cdots+\hat{\beta_j}x_{ji}+\cdots+\hat{\beta_k}x_{ki})\\ \\
\displaystyle\sum_{i=1}x_{1i}y_i =\displaystyle\sum_{i=1}(ax_{1i}+\hat{\beta_1}x_{1i}^2+\\ \cdots+\hat{\beta_j}x_{1i}x_{ji}+\cdots+\hat{\beta_k}x_{1i}x_{ki}) \\ \cdots\\ \\ \displaystyle\sum_{i=1}x_{ji}y_i =\displaystyle\sum_{i=1}(ax_{ji}+\hat{\beta_1}x_{ji}x_{1i}+\\ \cdots+\hat{\beta_j}x_{ji}^2+\cdots+\hat{\beta_k}x_{1i}x_{ki})\\ \\ \\ \cdots\\ \\\displaystyle\sum_{i=1}x_{ki}y_i=\displaystyle\sum_{i=1}(ax_{ki}+\hat{\beta_1}x_{ki}x_{1i}+\\ \cdots+\hat{\beta_j}x_{ki}x_{ji}+\cdots+\hat{\beta_k}x_{ki}^2)
$$
ここで、一番上の正規方程式、すなわち、残差平方和(1)を係数α^で微分した一階の条件式をサンプルサイズであるnで割ると以下のようなインプリケーションを得ます
$$
\bar y =\hat \alpha +\hat \beta_1 \bar x_1 +\cdots +\hat \beta_k \bar x_k \\ \\\bar y=(1/n)\sum_i y_i \\\bar x_j=(1/n)\sum_i x_{ji},(j=1,2,…,k)\\\Rightarrow Sample mean
$$
このようにオブザベーション数(n)で割ることによって、正規方程式のひとつを標本平均で表すことができました
つまり、この式より回帰直線は必ず標本平均の点を通ることになっています
これは、単回帰分析でも成立していた性質となります
また、正規方程式から以下のようなことが導かれます
$$
\\\displaystyle\sum_{i=1}^n e_i =0\\ \\\displaystyle\sum_{i=1}^nx_{ji}e_i =0 for j =1,2,…,k
$$
これは、残差が定数項(α)および説明変数と必ず無相関になるということです
正規方程式のマトリクス
次に正規方程式を行列で表現したいと思います
まず、ｎ個の観測数からなる被説明変数(yi)からなるベクトルをｙで表記します
加えて、定数項の1を第1列、j番目の説明変数xjのn個の観測数を第j+1列目の要素として持つ行列Xを考えます
$$
\bf y =\begin{bmatrix}
y_1 \\\cdots \\y_i \\\cdots \\y_n
\end{bmatrix}\\
$$
$$
\bf X=\begin{bmatrix}1 x_{11}\cdots x_{k1} \\ 1 x_{12}\cdots x_{k2}\\\vdots \vdots\\\vdots \vdots\\1 x_{1n}\cdots x_{kn}
\end{bmatrix}
$$
すなわち、yは次元ベクトル(n×1行列)
Xはn×(k+1)行列であることがわかります
次に、正規方程式の左辺は、転置行列(transposed matrix)：X'を用いて以下のように表記可能となります
$$
\begin{bmatrix}
y_1+y_2 +\cdots +y_n \\x_{11}y_1+\cdots +x_{1n}y_n \\\cdots \\x_{k1}y_n+\cdots +x_{kn}y_n
\end{bmatrix}\\ \\=\begin{bmatrix}
1 x_{11} \cdots x_{k1} \\\vdots \\\vdots \\1 x_{1n}\cdots x_{kn}
\end{bmatrix}'\begin{bmatrix}
y_1 \\\cdots \\y_i \\\cdots \\y_n
\end{bmatrix}={\bf X'y} (2)
$$
転置行列(transposed matrix)であるX'は、(k+1)×ｎ行列であり、X'yはk+1次元ベクトルとして表記される点を覚えておいてください
正規方程式の右辺に対する詳細は割愛しますが、右辺も次のように書き直すことができます
$$
\begin{bmatrix}
n \sum_i x_{1i} \cdots \sum_i x_{ki}\\\sum_i x_{1i} \sum_i x_{1i}^2 \cdots \sum_i x_{1i}x_{ki}\\\vdots \\\sum_i x_{ki} \sum_i x_{ki}x_{1i} \cdots \sum_i x_{ki}^2\
\end{bmatrix}\begin{bmatrix}\alpha\\\beta_1\\\vdots\\\beta_k\end{bmatrix}\\ \\=\cdots ={\bf X'X \bf \hat{b} } (3)
$$
ここで、最後のb^は、係数の推定値からなるk+1次元の列ベクトルとなります
総じて、(2)、(3)のような計算をすると正規方程式は以下のように表現できることがわかります
$$
\\Normal Equation of OLS \\ \\{\bf X'y =\bf X'X\hat{b} } (4)
$$
そして、このような(4)式において、(k+1)×(k+1)行列であるX'Xの逆行列が存在する、すなわちX'Xの行列式が0ではない（もしくは、X'Xのランクがk+1）ならば、以下(5)式のように行列を変形することができるのです
$$
{\bf \hat{b}=(X'X)^{-1}X'y} (5)
$$
したがって、(5)式のインプリケーションは
最小二乗推定量を表すベクトルb^が被説明変数yの線形関数であることを示唆しているのです
計量経済学モデルの特徴をしっかり理解して、卒業論文を書き進めていきたいと思います💖
本日の解説はここまでとします🔖
なお、本投稿作成における参考文献は以下の通りです
なぜ、計量経済学を学ぶのか？？
計量経済学が時系列解析法を「理論なき計測」として退けるところからスタートしたことでよく知られているのです
1930年に創立された計量経済学会の規約第1条では、計量経済学は「理論的数量的アプローチと経験数量的アプローチの統一」と定義されていました📝
また、R・フリッシュによる『エコノメトリカ』創刊の辞では、「統計学、経済学、数学の三者の統合」と定義されているのです👍
このような定義においては、当時のハーバード景気予測に代表される時系列解析法への批判が強く意識されていたとされています
すなわち、それが29年の大恐慌の予測に失敗したのは，経済理論を無視し、 時系列データの形式的な解析のみに終始したからであったということです
今後はそうした「理論なき計測」の立場を退け、「理論に基づく計測」を重視していかなければならない、という見解の重要性が増しています
このような歴史を経て、計量経済学はスタートをきったのでした
そして、何よりマクロ経済変数は
その多くが互いに影響を及ぼし合う相互依存の関係にあり、また過去の変化の影響が持続するという傾向を持ちます
これらの動向を分析したり、将来を予測したりできるようになるためには、計量経済学、ひいては「時系列分析」に対する理論や正しい実証手法への理解が必要不可欠となります
「計量経済学」シリーズの投稿では、こうしたマクロ時系列変数の実証分析に必要な計量理論と手法を習得することを目的とします
これから私がアウトプットする
時系列マクロ経済分析に関する内容について
どうぞ最後までご愛読ください💖
付録：私の卒論研究テーマについて🔖
私は「為替介入の実証分析」をテーマに
卒業論文を執筆しようと考えています📝
日本経済を考えたときに、為替レートによって
貿易取引や経常収支が変化したり
株や証券、債権といった金融資産の収益率が
変化したりと日本経済と為替レートとは
切っても切れない縁があるのです💝
（円💴だけに･･･）
経済ショックによって
為替レートが変化すると
その影響は私たちの生活に大きく影響します
だからこそ、為替レートの安定性を
担保するような為替介入はマクロ経済政策に
おいても非常に重要な意義を持っていると
推測しています
決して学部生が楽して執筆できる簡単なテーマを選択しているわけでは無いと信じています
ただ、この卒業論文をやり切ることが
私の学生生活の集大成となることは事実なので
最後までコツコツと取り組んで参ります🔥
今後も経済学理論集ならびに
社会課題に対する経済学的視点による説明など
有意義な内容を発信できるように努めてまいりますので、宜しくお願いします🥺
おすすめマガジンのご紹介🔔
こちらのマガジンにて
卒業論文執筆への軌跡
エッセンシャル経済学理論集、ならびに
国際経済学🌏の基礎理論をまとめています
今後、さらにコンテンツを拡充できるように努めて参りますので、今後とも何卒よろしくお願い申し上げます📚
また、こちらに２４卒としての私の就職活動体験記をまとめたマガジンをご紹介させていただきます👍
様々な観点から就職活動について考察していますので、ご一読いただけますと幸いです
改めて、就職活動は
本当に「ご縁」だと感じました🍀
だからこそ、ご縁を大切に
そして、選んだ道を正解にできるよう
これからも努力していきたいなと思います🔥
最後までご愛読いただき誠に有難うございました！
あくまで、私の見解や思ったことを
まとめさせていただいてますが
その点に関しまして、ご了承ください🙏
この投稿をみてくださった方が
ほんの小さな事でも学びがあった！
考え方の引き出しが増えた！
読書から学べることが多い！
などなど、プラスの収穫があったのであれば
大変嬉しく思いますし、投稿作成の冥利に尽きます！！
お気軽にコメント、いいね「スキ」💖
そして、お差し支えなければ
フォロー＆シェアをお願いしたいです👍
今後とも何卒よろしくお願いいたします！
この記事が気に入ったらサポートをしてみませんか？