主成分分析(PCA)の背景にある数学理論の話 - 最適化問題

今回は多変量解析の代表的なものである、主成分分析の話をします。とはいえ、主成分分析の目的やツールを使ったそのやり方に関しては非常に多くの書籍やWeb上の文献がありますので、ここではそういった話はせずに、主成分分析の背景にある数学的理論の話をメインとさせていただければと思います。
数学的な理論にフォーカスする意図として、共分散行列の固有値・固有ベクトルを求めることが、主成分分析の（アルゴリズムにおける）ゴールであるということを受け入れることができない人が、少なからず存在するのではないかと思ったからです。僕がまさにそうでした。よって対象読者は、主成分分析を使ったことがある、もしくは知っていて、その裏にある数学的理論(陰関数定理、ラグランジュの未定乗数法. etc..)に興味がある人になります。これから主成分分析を勉強する人も（ある程度数学的な素養は必要ですが）ブラックボックス内のロジックが知れていいかもしれません。
なお、主成分分析の数学理論の解説は非常にボリュームがあるもので、理論の解説にはTexが必須であるのと、数値解析の分野であるという性質上、実際にPCAをPythonで実装したものをお見せしたいので、以降は

主成分分析(PCA)の数学的な理論とPythonによる実装 

主成分分析(PCA)の数学的な理論とPythonによる実装

にて解説を進めていきます。