![見出し画像](https://assets.st-note.com/production/uploads/images/149378602/rectangle_large_type_2_726ed621803c040ad18baa61ceee89c0.png?width=1200)
【ステップ2備忘録】ゼロから作るDeep Learning ❺【生成モデル編】ステップ2 最尤推定を読む
ゼロから作るDeep Learning ❺【生成モデル編】ステップ2では最尤推定をテーマに生成モデルの基本的な概念ついて述べています。この記事は、本書を読むための予備知識としてお読み頂ければと思います。なお、本記事では、Pythonのプログラミングについては扱いません😌
生成モデルにおける正規分布の役割
生成モデルは、新しいデータを生成するためのモデルですが、その内部では様々な確率分布が利用されます。正規分布はその中でも特に重要な役割を果たしています。
なぜ正規分布が重要なのか?
自然現象の近似: 多くの自然現象は、正規分布に従う傾向があります。身長、体重、測定誤差など、様々なものが正規分布で近似できます。
計算の簡便さ: 正規分布は数学的に扱いやすく、多くの統計的な手法が正規分布を前提としています。
柔軟性: 正規分布は、平均と分散を変えることで、様々な形状の分布を表現できます。
生成モデルにおける具体的な利用例
潜在空間の表現: VAE(変分オートエンコーダ)などの生成モデルでは、高次元のデータを低次元の潜在空間に圧縮し、その潜在空間に正規分布を仮定することが一般的です。この潜在空間からサンプリングすることで、新しいデータを生成します。
ノイズのモデル化: GAN(敵対的生成ネットワーク)では、生成器が生成した画像に正規分布のノイズを加えることで、より多様な画像を生成することができます。
データの平滑化: 生成モデルの学習中に、正規分布を用いてデータを平滑化し、過学習を防ぐことができます。
最尤推定とは?
最尤推定とは、統計学において、あるデータセットが与えられたとき、そのデータが最も発生しやすくなるようなパラメータを推定する方法です。言い換えると、観測されたデータから、そのデータを生成する確率分布のパラメータを推定する方法です。
例えば、コインを10回投げて8回表が出たとします。このとき、「コインの表が出る確率」を推定したいとします。最尤推定では、「表が出る確率が0.8のとき、このデータが得られる確率が最も高い」と考え、0.8をコインの表が出る確率の推定値とします。
具体的な手順
確率分布の仮定: データが従うと考える確率分布(例えば、正規分布、ベルヌーイ分布など)を仮定します。
尤度関数の作成: 仮定した確率分布のパラメータをθとすると、観測されたデータxが与えられたときの、そのパラメータθの尤度L(θ|x)を計算します。尤度とは、あるパラメータθのもとで、観測されたデータxが得られる確率のことです。
尤度関数の最大化: 尤度関数L(θ|x)を最大にするようなパラメータθを求めます。このθが最尤推定値となります。
特徴と注意点
直感的な方法: 観測されたデータから、最もらしいパラメータを推定するという直感的な方法です。
計算の簡便さ: 多くの場合、尤度関数は対数尤度関数に変換して計算することで、より扱いやすくなります。
漸近的な性質: サンプルサイズが大きい場合、最尤推定量は真のパラメータに収束するという性質があります。
局所解に陥る可能性: 尤度関数が複数の極大値を持つ場合、局所解に陥ってしまう可能性があります。
分布の仮定: どのような確率分布を仮定するかが、推定結果に大きく影響します。
ポイント
尤度は、パラメータθが与えられたときの、データxが得られる確率を表します。
対数尤度関数を使うことで、計算が簡便になります。
最尤推定は、様々な確率分布に対して適用できます。
まとめ
最尤推定では、観測されたデータが最も起こりやすくなるようなパラメータを推定します。そのため、尤度関数を最大化することが目標となります。今回は、本書の「ステップ2 最尤推定を読む」ために、基礎的な内容をご紹介しました。これから「ゼロから作るDeep Learning ❺【生成モデル編】」お読みになる方は参考にしてみてください。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?