【メモ】岡野原拡散モデル本

2.3がマジで迷宮なのですが。
とりあえずストーリー構造を整理すると、
【大枠のタスク】
ある生成器p_theta(x)があって、ここから生成されたサンプルxに対してノイズを付加していく過程を通して中間変数x1, x2, . . xTを生成する。この過程をたくさん実行した結果からp_theta(x)の最尤分布を求めたい

【ゆるい最適化】
pそのものの最尤推定が難しいので代わりにその変分下限の最大化をやることにする

【変分下限がKLを使って書ける】
ノイズを付加する生成過程qと、それを逆にたどる逆生成過程p(同じ文字使うなよ. . .)に関して、条件付確率q(x_{t-1}|q_{t})とp(x_{t-1}|x_{t})の間のKullback-Leibler divergenceを用いて上記の変分下限が書ける

【生成過程の事後確率が解析的に書けること】
生成過程qがガウス過程だと条件付確率q(x_{t-1}|x_{t}, x_0)がガウス過程として解析的に書けるので、結局KL最大化の問題がpのモデル(=ガウス過程)の最適化に置き換えられる

自分でも腑に落ちないまま書いている…。
何をしたいのかが想像しづらいことが分かりにくさの原因な気がするのでとりあえずコーディングしちゃった方がいいのではという気もしてきた。

あと、3章を先読みしていてわけわからんステートメントが目に入ったのですが、曰く

ランジュバン方程式は常微分方程式(確率フローODE)に書き換えられる

と。
いや明確な反例として初期分布がデルタ関数の場合がすぐに挙げられますけど？！

と思ったものの、それ以外の特異性のない初期分布なら確かにワンチャンその通りかもしれないなーなどと頭の中で絵をうにゃうにゃ動かしながら思ったりも。

でもドリフト項に確率分布自体が入っているようでは結局実用性はないのでは？と今のところ思うもののおそらく答えはちゃんと読めば書いてあるのでしょう。

この本、この時期にこれだけ新しいトピックが日本語でまとまってるという意味では確かに有用なんですが正直読みにくい。まあ読むけど。