【最小二乗法とは？？】重回帰分析のOLSによる推定パラメータの導出過程🔥：計量経済学 No.37

2023年11月22日 19:00

今回は、重回帰分析における最小二乗法(OLS)について解説します✨

重回帰分析は、説明変数の数が多くなればなるほど、行列での計算が複雑になりますので、計量ソフトにお任せすることになります

しかし、重回帰分析による推定がどのようなニュアンスを有しているのか？という点はしっかり理解しておくことが大切です

重回帰分析の最小二乗法における正規方程式の導出方法を中心に理解を深めていただけたら幸いです

Introduction：計量経済学への挑戦🔥

経済学部に通う私も
いよいよ大学「学部」最終年になり
学問に全力を注ぐ時間も限られてきました👍

「知は力なり」という言葉を信じて
残りの大学生生活を満喫したいと思います

学部レベルのマクロ経済学は
個人的によく理解できたつもりです

しかしながら、本当の経済の動向を理解するには、学部レベルの知識ではお話になりません😥
また、正しい計量経済学の知識やデータ分析のリテラシーを会得しなければなりません💦

現実の経済データを、理論モデルと当てはめ
正しい計量手法によって実証分析できる力を醸成したら
きっと将来どこかで活躍できる人財になれる可能性を高めることに繋がると思います

何事もアウトプット前提のインプットが
大事であると、noteで毎日発信してきました
これは、どのような内容で
あっても当てはまります👍

先行研究の論文を一概に読んでも
記憶に残っていなかったり
大切な観点を忘れてしまっていたりしたら
学習の進捗は滞ってしまうと思います

だからこそ、この「note」をフル活用して
自分の知識を1％でも、定着させ
誰にでもわかりやすい解説をアウトプットできるように努めていきたいと思います

なお、前回のお復習いはこちらからご確認ください💗

それでは、私がこれからアウトプットする
計量経済学において最重要なパートである
時系列分析のモデル理論解説を
どうぞ最後まで、ご愛読ください📖

重回帰分析における最小二乗法🔥

今回の記事では、重回帰分析における最小二乗法(OLS)について考えていきたいと思います

$$
y_i = \alpha +\beta_1x_1 +\beta_2 x_2 +\cdots +\beta_k x_k+u (1)
$$

単回帰分析の場合と同様の考え方になりますが、最小二乗法においては残差平方和(RSS)を最小にするようにα,β1,β2,…,βkの推定値を決定することになります
以下では、推定値に(ハット：^)を付けて表記することにします

まずは、残差(ei)を定義していきたいと思います

$$
Residual :e_i \\e_i =y_i -\hat{y_i }\\ =y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\hat{\beta_2} x_{2i}-\cdots-\hat{\beta_k} x_{ki} (2)
$$

したがって、残差平方和(RSS)は、次の式で与えられます

$$
RSS=\displaystyle\sum^n_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\hat{\beta_2} x_{2i}-\cdots-\hat{\beta_k} x_{ki})^2 (3)
$$

なお(3)式は、係数の推定値に関する2時間となっています
したがって、この(3)式の最小化のための必要条件を求めると次の通りになります
ここでは、各係数で(3)式を偏微分して、イコール0としていきます

すなわち、偏導関数は以下のような形になります

$$
F.o.c for Multiple regression OLS\\ \\ \\\frac{\partial RSS} {\partial \alpha}=-2 \displaystyle{\sum_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\cdots-\hat{\beta_k} x_{ki}) =0}\\ \\ \frac{\partial RSS} {\partial \beta_1 }=-2 \displaystyle\sum_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\cdots-\hat{\beta_k} x_{ki})x_{1i} =0 \\ \cdots \\ \frac{\partial RSS} {\partial \beta_i }=-2 \displaystyle\sum_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\cdots-\hat{\beta_k} x_{ki})x_{ji} =0\\ \cdots \\ \frac{\partial RSS} {\partial \beta_k }=-2 \displaystyle\sum_{i=1}(y_i -\hat{\alpha}-\hat{\beta_1} x_{1i} -\cdots-\hat{\beta_k} x_{ki})x_{ki}
$$

ただし、xjiはj番目の説明編すにおけるi番目の観測値であることに注意してください

これらの式の両辺を-2で割って整理すると、以下のような正規方程式(normal equation)を得ます

$$
Normal equation of Multiple regression\\ \\
\displaystyle\sum_{i=1}y_i =\displaystyle\sum_{i=1}(a+\hat{\beta_1}x_{1i}+\cdots+\hat{\beta_j}x_{ji}+\cdots+\hat{\beta_k}x_{ki})\\ \\
\displaystyle\sum_{i=1}x_{1i}y_i =\displaystyle\sum_{i=1}(ax_{1i}+\hat{\beta_1}x_{1i}^2+\cdots+\hat{\beta_j}x_{1i}x_{ji}+\cdots+\hat{\beta_k}x_{1i}x_{ki}) \\ \cdots\\ \\ \displaystyle\sum_{i=1}x_{ji}y_i =\displaystyle\sum_{i=1}(ax_{ji}+\hat{\beta_1}x_{ji}x_{1i}+\cdots+\hat{\beta_j}x_{ji}^2+\cdots+\hat{\beta_k}x_{1i}x_{ki})\\ \cdots\\ \\\displaystyle\sum_{i=1}x_{ki}y_i=\displaystyle\sum_{i=1}(ax_{ki}+\hat{\beta_1}x_{ki}x_{1i}+\cdots+\hat{\beta_j}x_{ki}x_{ji}+\cdots+\hat{\beta_k}x_{ki}^2)
$$

これらは、 k+1個の未知の推定パラメータに関する k+1本の連立 1 次方程式であると言えます

したがって、この方程式をα^などについて解くことで、最小二乗法の推計値が求まることになります

なお、説明変数の数がk=2の場合については、(4)の最初の方程式を残りの 2 本の方程式に代入することで2本の連立方程式に帰着させることができ、解析的に解を求めることができます

しかしながら、説明変数の数kが3以上になると、行列を用いないと解析的な解を求めるのは困難になってしまうのです💦
そのため、計量ソフトに計算はお任せしましょう！

計量経済学モデルの特徴をしっかり理解して、卒業論文を書き進めていきたいと思います💖
本日の解説はここまでとします🔖

なお、本投稿作成における参考文献は以下の通りです

なぜ、計量経済学を学ぶのか？？

計量経済学が時系列解析法を「理論なき計測」として退けるところからスタートしたことでよく知られているのです
1930年に創立された計量経済学会の規約第1条では、計量経済学は「理論的数量的アプローチと経験数量的アプローチの統一」と定義されていました📝
また、R・フリッシュによる『エコノメトリカ』創刊の辞では、「統計学、経済学、数学の三者の統合」と定義されているのです👍

このような定義においては、当時のハーバード景気予測に代表される時系列解析法への批判が強く意識されていたとされています

すなわち、それが29年の大恐慌の予測に失敗したのは，経済理論を無視し、時系列データの形式的な解析のみに終始したからであったということです

今後はそうした「理論なき計測」の立場を退け、「理論に基づく計測」を重視していかなければならない、という見解の重要性が増しています
このような歴史を経て、計量経済学はスタートをきったのでした

そして、何よりマクロ経済変数は
その多くが互いに影響を及ぼし合う相互依存の関係にあり、また過去の変化の影響が持続するという傾向を持ちます
これらの動向を分析したり、将来を予測したりできるようになるためには、計量経済学、ひいては「時系列分析」に対する理論や正しい実証手法への理解が必要不可欠となります
「計量経済学」シリーズの投稿では、こうしたマクロ時系列変数の実証分析に必要な計量理論と手法を習得することを目的とします

これから私がアウトプットする
時系列マクロ経済分析に関する内容について
どうぞ最後までご愛読ください💖

付録：私の卒論研究テーマについて🔖

私は「為替介入の実証分析」をテーマに
卒業論文を執筆しようと考えています📝

日本経済を考えたときに、為替レートによって
貿易取引や経常収支が変化したり
株や証券、債権といった金融資産の収益率が
変化したりと日本経済と為替レートとは
切っても切れない縁があるのです💝
（円💴だけに･･･）

経済ショックによって
為替レートが変化すると
その影響は私たちの生活に大きく影響します

だからこそ、為替レートの安定性を
担保するような為替介入はマクロ経済政策に
おいても非常に重要な意義を持っていると
推測しています

決して学部生が楽して執筆できる簡単なテーマを選択しているわけでは無いと信じています

ただ、この卒業論文をやり切ることが
私の学生生活の集大成となることは事実なので
最後までコツコツと取り組んで参ります🔥

今後も経済学理論集ならびに
社会課題に対する経済学的視点による説明など
有意義な内容を発信できるように努めてまいりますので、宜しくお願いします🥺

最後までご愛読いただき誠に有難うございました！

あくまで、私の見解や思ったことを
まとめさせていただいてますが
その点に関しまして、ご了承ください🙏

この投稿をみてくださった方が
ほんの小さな事でも学びがあった！
考え方の引き出しが増えた！
読書から学べることが多い！
などなど、プラスの収穫があったのであれば

大変嬉しく思いますし、投稿作成の冥利に尽きます！！
お気軽にコメント、いいね「スキ」💖
そして、お差し支えなければ
フォロー＆シェアをお願いしたいです👍
今後とも何卒よろしくお願いいたします！

この記事が参加している募集

数学がすき

2,790件

今こそ読みたい神マンガ

2,484件

この記事が気に入ったらサポートをしてみませんか？