自由エネルギー原理 - 能動的推論

能動的推論とは

雨が降るかどうか(u)を、空の様子(s)を見て判断することを考えます。家の中でカーテンを閉めたまま差し込む光を見るのと、カーテンや窓を開けて直接空を見るのでは、得られる情報の正確さが変わってきますよね。このように行動に応じて、情報の精度が変化する時に、望ましい情報を得るために行動を決めることを能動的推論と呼びます。

シャノンサプライズ

空の様子をみた時に、雨が降るかどうかを表す事後分布P(u|s)をq(u)で近似するというのが推論でした。そして、推論は自由エネルギーの最小化として定式化されるのでした。自由エネルギーは次のような形でかけました。

（自由エネルギー)=(KLダイバージェンス)-log p(s)

右辺の第一項は事後分布P(u|s)とq(u)が分布としてどれだけ離れているかを測るKLダイバージェンスです。第二項は周辺化分布p(s)の対数の符号を反転したものですが、これはシャノンサプライズと呼ばれます。

いつもは部屋に光が差し込んでくるのに、今日は部屋に光が差し込んでこないという観測をした場合を考えてみましょう。この時の、p(s)は小さい値になり、-log p(s)は大きな値になります。つまり、シャノンサプライズは観測した事象の珍しさ、観測に対する驚きの大きさを表します。

自由エネルギー最小化

すでに観測が与えられて推論をする場合は、シャノンサプライズは固定されていて、結局q(u)を事後分布P(u|s)に近づけることが自由エネルギーを最小化することでした。ところが、観測する情報をコントロールする能動的推論では、シャノンサプライズ自体も変化します。このため、自由エネルギーの最小化はq(u)とP(u|s)を近づけることに加え、シャノンサプライズを小さくすることになります。

再び、先ほどの例に戻りましょう。部屋に光が差し込んでこない状況を知覚することで、推論を働かせると脳が今日は雨が降るかもと判断している状態に移ります。つまり、q(u=雨)が高くなります。ここまでは普通の推論です。

続いて、次にどういう行動を取るかを考えましょう。行動を決める場合には、近似分布q(u)は固定で、入ってくる情報sを変化させます。KLダイバージェンスを小さくすることから、今のq(u)に近いP(u|s)が得られるようなsを探すのですが、中でもシャノンサプライズが小さいsを得るように行動します。今の場合、より雲がはっきりと確認できるように行動をとります。カーテンを開けたり、窓を開けて空の様子を直接確認して、やっぱり雨だと確信するでしょう。

このように、自由エネルギーを最小化するという考え方は、能動的推論についても当てはまりそうです。

以下個人的なメモ

推論と行動のループ