【ステップ2備忘録】ゼロから作るDeep Learning ❺【生成モデル編】ステップ2 最尤推定を読む

ゼロから作るDeep Learning ❺【生成モデル編】ステップ2では最尤推定をテーマに生成モデルの基本的な概念ついて述べています。この記事は、本書を読むための予備知識としてお読み頂ければと思います。なお、本記事では、Pythonのプログラミングについては扱いません😌

生成モデルにおける正規分布の役割

生成モデルは、新しいデータを生成するためのモデルですが、その内部では様々な確率分布が利用されます。正規分布はその中でも特に重要な役割を果たしています。

なぜ正規分布が重要なのか？

• 自然現象の近似: 多くの自然現象は、正規分布に従う傾向があります。身長、体重、測定誤差など、様々なものが正規分布で近似できます。

• 計算の簡便さ: 正規分布は数学的に扱いやすく、多くの統計的な手法が正規分布を前提としています。

• 柔軟性: 正規分布は、平均と分散を変えることで、様々な形状の分布を表現できます。

生成モデルにおける具体的な利用例

• 潜在空間の表現: VAE（変分オートエンコーダ）などの生成モデルでは、高次元のデータを低次元の潜在空間に圧縮し、その潜在空間に正規分布を仮定することが一般的です。この潜在空間からサンプリングすることで、新しいデータを生成します。

• ノイズのモデル化: GAN（敵対的生成ネットワーク）では、生成器が生成した画像に正規分布のノイズを加えることで、より多様な画像を生成することができます。

• データの平滑化: 生成モデルの学習中に、正規分布を用いてデータを平滑化し、過学習を防ぐことができます。

最尤推定とは？

最尤推定とは、統計学において、あるデータセットが与えられたとき、そのデータが最も発生しやすくなるようなパラメータを推定する方法です。言い換えると、観測されたデータから、そのデータを生成する確率分布のパラメータを推定する方法です。

例えば、コインを10回投げて8回表が出たとします。このとき、「コインの表が出る確率」を推定したいとします。最尤推定では、「表が出る確率が0.8のとき、このデータが得られる確率が最も高い」と考え、0.8をコインの表が出る確率の推定値とします。

具体的な手順

1. 確率分布の仮定: データが従うと考える確率分布（例えば、正規分布、ベルヌーイ分布など）を仮定します。

2. 尤度関数の作成: 仮定した確率分布のパラメータをθとすると、観測されたデータxが与えられたときの、そのパラメータθの尤度L(θ|x)を計算します。尤度とは、あるパラメータθのもとで、観測されたデータxが得られる確率のことです。

3. 尤度関数の最大化: 尤度関数L(θ|x)を最大にするようなパラメータθを求めます。このθが最尤推定値となります。

特徴と注意点

• 直感的な方法: 観測されたデータから、最もらしいパラメータを推定するという直感的な方法です。

• 計算の簡便さ: 多くの場合、尤度関数は対数尤度関数に変換して計算することで、より扱いやすくなります。

• 漸近的な性質: サンプルサイズが大きい場合、最尤推定量は真のパラメータに収束するという性質があります。

• 局所解に陥る可能性: 尤度関数が複数の極大値を持つ場合、局所解に陥ってしまう可能性があります。

• 分布の仮定: どのような確率分布を仮定するかが、推定結果に大きく影響します。

ポイント

• 尤度は、パラメータθが与えられたときの、データxが得られる確率を表します。

• 対数尤度関数を使うことで、計算が簡便になります。

• 最尤推定は、様々な確率分布に対して適用できます。

まとめ

最尤推定では、観測されたデータが最も起こりやすくなるようなパラメータを推定します。そのため、尤度関数を最大化することが目標となります。今回は、本書の「ステップ2 最尤推定を読む」ために、基礎的な内容をご紹介しました。これから「ゼロから作るDeep Learning ❺【生成モデル編】」お読みになる方は参考にしてみてください。

ゼロから作るDeep Learning ❺ ―生成モデル編