ラビットチャレンジ レポート第１回

E資格取得に向けて、ラビットチャレンジ！
本番は渡米後になるので、国外で受験することになります。通信環境や時差に注意しながらの受験になりますが、チャレンジを止めない。

【第1章：線形代数】

　行列は、スカラーを表にしたものであり、ベクトルを並べたものである。また行列は、連立方程式に関する研究から生まれた。行列には逆行列というものが存在し、当該行列と積をとることで、当該行列が単位行列となる性質を持つ逆数のようなものが存在する。この逆行列を用いることで、連立方程式の解を求めることができるが、連立方程式に解がない場合があるため、逆行列を持たない行列も存在する。
　また、行列には固有値・固有ベクトル、特異値・特異ベクトルといった概念が存在する。正方行列は固有値・固有ベクトル、正方行列以外は特異値・特異ベクトルの概念を適用可能である。これらの概念を用いて固有値分解や特異値分解を行うことで、行列の累乗計算が容易になるといった数学的な利点と、画像データの圧縮といった実応用的な利点を得ることができる。行列によっては、固有値分解や特異値分解ができないものもある。

【第2章：確率・統計】

　確率は、事象が発生する頻度であり、信念の度合いであるとも言える。また、事象と結び付けられた数値として、確率変数という概念が存在する。そして事象の発生する確率の分布を表す確率分布という考え方も存在する。確率分布の中では、期待値、分散、標準偏差、そして共分散などが指標として用いられる。確率分布の代表例として、ガウス分布やベルヌーイ分布が挙げられる。

【第3章：情報理論】

　情報は、変化量を比率で考える。生起確率が低い事象の方が、情報量は大きいとされ、その大きさは自己情報量で表される。また、シャノンエントロピーは自己情報量の期待値で、機械学習の場合にはシャノンエントロピーが最大の場合を用いる。さらにシャノンエントロピーは、誤差関数の代わりとして使用できる。そしてカルバック・ライブラー(KL)ダイバージェンスは、異なる確率分布間の違いを距離のような形で表す。情報利得と呼ばれる場合もある。交差エントロピーは、KLダイバージェンスの一部分を取り出したものであり、Qについての自己情報量をPの分布で平均している。

【自己学習】

『徹底攻略ディープラーニングE資格エンジニア問題集 第2版（黒本）』 学習範囲 第1章 – 第3章

第1章：線形代数における考察

　原理原則に則った固有値分解の実行も重要であるが、試験本番を意識して時間削減のために、「固有値を対角線上に並べた行列の非対角要素は全て０である」といった性質を利用できるようにすることが重要。

第2章：確率・統計における考察

　第一章と同じように、「正規分布の最尤推定は二乗和誤差の最小化」「正規分布の平均の最尤推定量はデータの平均」など、内容を理解していれば複雑な計算をせずに正答を素早く選択できることを確認。

第3章：情報理論における考察

　KLダイバージエンスに加えて、JSダイバージェンス、一般化KLダイバージェンス、IS(板倉・斉藤)ダイバージェンスを学習。JSダイバージエンスの敵対的生成ネットワーク(GAN)の損失関数への応用などを確認。