応用数学（ラビットチャレンジ）

【第1章 : 線形代数】

行列の基本

・逆行列は、行基本変形を実行して掃き出し法で求める。
・det A（行列Aの逆行列） = 0となる時、逆行列は存在しない。
・行列式の特徴は以下。
　- 同じ行ベクトルが含まれている時、行列式はゼロになる
　- 1つの行ベクトルがλ倍されると、行列式もλ倍される
　- 他の成分が全部同じでi番目のベクトルだけが異なった場合、行列式の足し合わせになる

固有値と固有ベクトル

・ある行列Aに対して、以下の式が成り立つベクトル Xとλをそれぞれ、行列Aに対する固有ベクトル、固有値という。

固有値分解

・正方行列Aに対する固有値λiを対角線上に並べた行列Λと固有ベクトルviを並べた行列Vを用意した時、以下のように変換できることを固有値分解と言い、行列の累乗計算を容易にできる。

特異値分解

・長方形が嫌なので、MとMの転置をかけたものに対して、固有値分解する
・画像データの圧縮に使用する
　- 小さい特異値から順に削っている（値の小さなものをゼロに近似している）
・特異値の大きい部分が似ていれば、似ている画像だと機械に認識させることができる

【第2章 : 確率・統計】

ベイズ則

・AかつBの確率を2通りのパターンで示して、等しいとしている

記述統計と推測統計

・記述統計
　- 集団の情報を要約すること（数理的に。平均など。）
・推測統計
　- 母集団から標本を抽出して、母集団の性質を推測すること

分散と共分散、標準偏差

・分散
　- データの散らばり具合
　- 個々値と平均値の差の2乗の平均（= 個々値の2乗の平均）-（平均値の2乗）
・共分散
　- 2つのデータ系列の散らばり具合

・標準偏差
　- 分散の平方根

確率分布

・ベルヌーイ分布
　- コイントス
　- 表と裏の確率が等しくなくてもよい
　- 事象が2つのみ
・マルチヌーイ分布（カテゴリ分布、カテゴリカル分布）
　- さいころを転がすイメージ
　- 事象が3つ以上
・二項分布
　- ベルヌーイ分布の多試行版
・ガウス分布
　- 釣り鐘型の連続分布
　- 二項分布のnが無限大版

推定
・点推定
　- 平均値などを1つの値に推定すること
・区間推定
　- 平均値などが存在する範囲（区間）を推定すること
・推定量（estimator）
　- 推定値を出すための道具（導関数）
・推定値（estimate）
　- 実際に試行を行った結果（実際の傾き）

標本平均
・一致性
　- サンプル数が大きくなれば母集団の値に近づく
・不偏性
　- 期待値は母集団の値と同一

標本分散
・一致性は満たすが、不偏性は満たさない
・母集団の分散よりも小さくなることが知られている（サンプル数が小さいため。）
　⇒ 不偏分散を用いる
　- サンプル数が大きくなれば母集団の値に近づく

【第3章 : 情報理論】

自己情報量

・我々は元々に対する変化の割合として、情報を捉えている。

シャノンエントロピー

・シャノンエントロピー
　> 自己情報量の期待値
　> 出る目が決まっている場合には得られる情報は少ない
　> 情報量が最大になる

カルバック・ライブラー　ダイバージェンス

・カルバック・ライブラー　ダイバージェンス
　- 同じ事象・確率変数における異なる確率分布P, Qの違いを表す（距離のようなもの）
　- Qの自己情報量（最初の情報）からPの自己情報量（後になって分かった情報）を引いたもの
　- Qという分布を新たに分かったPという分布から眺めた時にどの程度情報が異なるか？？という考え方（情報利得）
　- ゼロになったとしてもマイナスにはならない
　- 変数変換しても値はあまり変わらない

交差エントロピー

・交差エントロピー
　- KLダイバージェンスにPのシャノンエントロピーを足したもの
　- Qについての自己情報量をPの分布で平均している
　- 交差エントロピーが小さい程、PとQの分布が小さい
　　⇒ 評価関数として交差エントロピーを用いる時には、これを小さくするようにする？？