【重回帰分析のエッセンス✨】残差平方和の確率分布と自由度修正済み決定係数🔥：計量経済学 No.39
今回も引き続き、計量経済学：重回帰分析について理解を深めていただけるような内容かと思います
最小二乗推定量の性質に加えて、計量経済学では適切な「残差」の処理が大切になります
また、重回帰モデルを構築して、推定した際にそのモデルの当てはまりの良さを示す指標についても解説します💛
Introduction：計量経済学への挑戦🔥
経済学部に通う私も
いよいよ大学「学部」最終年になり
学問に全力を注ぐ時間も限られてきました👍
「知は力なり」という言葉を信じて
残りの大学生生活を満喫したいと思います
学部レベルのマクロ経済学は
個人的によく理解できたつもりです
しかしながら、本当の経済の動向を理解するには、学部レベルの知識ではお話になりません😥
また、正しい計量経済学の知識やデータ分析のリテラシーを会得しなければなりません💦
現実の経済データを、理論モデルと当てはめ
正しい計量手法によって実証分析できる力を醸成したら
きっと将来どこかで活躍できる人財になれる可能性を高めることに繋がると思います
何事もアウトプット前提のインプットが
大事であると、noteで毎日発信してきました
これは、どのような内容で
あっても当てはまります👍
先行研究の論文を一概に読んでも
記憶に残っていなかったり
大切な観点を忘れてしまっていたりしたら
学習の進捗は滞ってしまうと思います
だからこそ、この「note」をフル活用して
自分の知識を1％でも、定着させ
誰にでもわかりやすい解説をアウトプットできるように努めていきたいと思います
なお、前回のお復習いはこちらからご確認ください💗
それでは、私がこれからアウトプットする
計量経済学において最重要なパートである
時系列分析のモデル理論解説を
どうぞ最後まで、ご愛読ください📖
最小二乗残差の性質✨
今回は、最小二乗残差の性質を述べていきたいと思います
まず、残差は(1)式のように与えられます
$$
\\ OLS Redual:e\\
{\bf e= y -Xb }\\ ={\bf y-X(X'X)^{-1}X'y}\\ {\bf=[I-X(X'X)^{-1}X']y}\cdots (1)
$$
(1)式より、残差eはyの線形関数になっていることがわかりますね📝
次に、n×n行列の対称行列であるMを以下のように定義すると、残差を(2)式のように表記することができます
$$
\\{\bf e =My} \cdots (2) \\ \\\bf M\equiv I-X(X'X)^{-1}X'
$$
ここで、被説明変数yの推定値に^を付けて表記すると
$${\bf \hat y =Xb =X(X'X)^{-1}X'y }$$であるので、ここで、新たなn×nの対称行列Pを$${P\equiv X(X'X)^{-1}X'}$$のように定義すると
$$
{\bf \hat y =Py}\cdots (2)\\ \\\bf P\equiv X(X'X)^{-1}X'
$$
このような関係式(2)を得ることができます
そして、この(2)式に$${\bf y =Xb +u}$$を代入し、行列MとPの愛大に関係する性質である$${\bf MX=O}$$を適用すると
$$
\\{\bf e = My =M(Xb +u)=Mu}\cdots (3) \\ \\E({\bf e})={\bf 0}\\{\bf X'e =X'Mu =(MX)'u =0}
$$
(3)式のような関係を得ることができました
また、(3)式の下に追記した性質は、残差の期待値が0であること、そして、残差と説明変数が直交するという性質を意味しています
最小二乗残差の確率分布🌟
また、残差平方和(RSS)は、(4)式のように与えられます
$$
{\bf e'e =u' M'Mu =u'Mu} \cdots (4)
$$
そして、残差平方和(RSS)の期待値を求めると
$$
E({\bf e'e})=E({\bf u'Mu})=E(tr({\bf u'Mu}))\\ =E(tr({\bf Mu'u}))=tr({\bf M} E {\bf (u'u)}))\\ =tr ({\bf M (\sigma^2 I)})=\sigma^2 tr({\bf M})\\ =\sigma^2 (n-(k+1))\cdots (5)
$$
(5)式のような関係性を得ることができました
なお、tr()は行列の対角成分の和を示すトレースであり、行列Mのトレースが、n-(k+1)となることについては上級の計量経済学の参考書などをお読みください💦
ここまでの議論を踏まえて、誤差項の分散の不偏推定量は、単回帰分析と同様の結果となりますが、以下(6)式のように導出されます
$$
Unbiased estimator of the variance\\ of the error term\\ \\s^2 =\frac{RSS}{n-(k+1)}\cdots (6)
$$
単回帰の場合と同様に、分散の不偏推定量(s^2)の平方根を、回帰の標準誤差(standard error of regression)と呼びます
また、残差平方和を真の分散(σ^2)で割った変数は、自由度n-(k+1)のカイ二乗分布に従うことを示すことができます
ただし、n個が独立に動けるわけではない点には注意が必要です
$$
\frac{RSS}{\sigma^2}=\frac{{\bf e'e}}{\sigma^2}=\frac{{\bf u'M u }}{\sigma^2 } \\ \\ = \frac{{\bf (Mu)'(M u) }}{\sigma^2 }\backsim \chi^2 (n-(k+1))
$$
重回帰分析の決定係数🌈
単回帰分析と同様に、重回帰分析においても$${TSS=ESS+RSS}$$のように、平均値の回りの全平方和(TSS)を、回帰式で説明される平方和(ESS)と残差平方和(RSS)によって表記することができます
また、この関係式は$${\bf y =\hat y +e =Py +My }$$において、行列MとPが直行することから導くことができます
そして、決定係数(R^2)は以下のように定義されます🔥
$$
R^2 =\frac{TSS}{ESS} =1-\frac{RSS}{TSS}
$$
なお、決定係数R^2は説明変数の個数が増加すれば、回帰式で説明できる平方和(ESS)が単調に増加しますので、それに伴って単調に増加することになります
そこで、重回帰分析においては、説明変数の個数の増加をペナルティーとするように修正した決定係数を考えることができます
そこで、登場する自由度修正済み決定係数(adjusted R^2)は次の式で定義されるのです
$$
\\Adj R^2 =1- \frac{RSS/(n-(k+1)}{TSS/(n-1)}
$$
通常の重回帰分析では、この自由度修正済み決定係数を用いて、モデルの当てはまりの良さを評価することになります
本日の解説はここまでとします🔖
計量経済学モデルの特徴をしっかり理解して、卒業論文を書き進めていきたいと思います💖
なお、本投稿作成における参考文献は以下の通りです
なぜ、計量経済学を学ぶのか？？
計量経済学が時系列解析法を「理論なき計測」として退けるところからスタートしたことでよく知られているのです
1930年に創立された計量経済学会の規約第1条では、計量経済学は「理論的数量的アプローチと経験数量的アプローチの統一」と定義されていました📝
また、R・フリッシュによる『エコノメトリカ』創刊の辞では、「統計学、経済学、数学の三者の統合」と定義されているのです👍
このような定義においては、当時のハーバード景気予測に代表される時系列解析法への批判が強く意識されていたとされています
すなわち、それが29年の大恐慌の予測に失敗したのは，経済理論を無視し、 時系列データの形式的な解析のみに終始したからであったということです
今後はそうした「理論なき計測」の立場を退け、「理論に基づく計測」を重視していかなければならない、という見解の重要性が増しています
このような歴史を経て、計量経済学はスタートをきったのでした
そして、何よりマクロ経済変数は
その多くが互いに影響を及ぼし合う相互依存の関係にあり、また過去の変化の影響が持続するという傾向を持ちます
これらの動向を分析したり、将来を予測したりできるようになるためには、計量経済学、ひいては「時系列分析」に対する理論や正しい実証手法への理解が必要不可欠となります
「計量経済学」シリーズの投稿では、こうしたマクロ時系列変数の実証分析に必要な計量理論と手法を習得することを目的とします
これから私がアウトプットする
時系列マクロ経済分析に関する内容について
どうぞ最後までご愛読ください💖
付録：私の卒論研究テーマについて🔖
私は「為替介入の実証分析」をテーマに
卒業論文を執筆しようと考えています📝
日本経済を考えたときに、為替レートによって
貿易取引や経常収支が変化したり
株や証券、債権といった金融資産の収益率が
変化したりと日本経済と為替レートとは
切っても切れない縁があるのです💝
（円💴だけに･･･）
経済ショックによって
為替レートが変化すると
その影響は私たちの生活に大きく影響します
だからこそ、為替レートの安定性を
担保するような為替介入はマクロ経済政策に
おいても非常に重要な意義を持っていると
推測しています
決して学部生が楽して執筆できる簡単なテーマを選択しているわけでは無いと信じています
ただ、この卒業論文をやり切ることが
私の学生生活の集大成となることは事実なので
最後までコツコツと取り組んで参ります🔥
今後も経済学理論集ならびに
社会課題に対する経済学的視点による説明など
有意義な内容を発信できるように努めてまいりますので、宜しくお願いします🥺
おすすめマガジンのご紹介🔔
こちらのマガジンにて
卒業論文執筆への軌跡
エッセンシャル経済学理論集、ならびに
国際経済学🌏の基礎理論をまとめています
今後、さらにコンテンツを拡充できるように努めて参りますので、今後とも何卒よろしくお願い申し上げます📚
また、こちらに２４卒としての私の就職活動体験記をまとめたマガジンをご紹介させていただきます👍
様々な観点から就職活動について考察していますので、ご一読いただけますと幸いです
改めて、就職活動は
本当に「ご縁」だと感じました🍀
だからこそ、ご縁を大切に
そして、選んだ道を正解にできるよう
これからも努力していきたいなと思います🔥
最後までご愛読いただき誠に有難うございました！
あくまで、私の見解や思ったことを
まとめさせていただいてますが
その点に関しまして、ご了承ください🙏
この投稿をみてくださった方が
ほんの小さな事でも学びがあった！
考え方の引き出しが増えた！
読書から学べることが多い！
などなど、プラスの収穫があったのであれば
大変嬉しく思いますし、投稿作成の冥利に尽きます！！
お気軽にコメント、いいね「スキ」💖
そして、お差し支えなければ
フォロー＆シェアをお願いしたいです👍
今後とも何卒よろしくお願いいたします！
この記事が気に入ったらサポートをしてみませんか？