自由エネルギー原理について誰でもわかる、明快かつ深い解説 -5-
今回は、前回までで導出した4つの式について、その関係を見ていきたいと思います。
前回：自由エネルギー原理について誰でもわかる、明快かつ深い解説 - 4 -
10. VFEとEFEの関係
今まで見てきたVFEの変形1（第1回）、変形2（第2回）、EFEの変形1（第3回）、変形2（第4回）を再掲します。
VFE（変形1）
Eq(x) [log q(x) – log p(x, s)] (3)
= Eq(x) [log q(x) – log p(x | s)] + Eq(x) [ – log p(s)]
= DKL [q(x) || p(x|s)] + Eq(x) [ – log p(s)] (6)
VFE（変形2）
Eq(x) [log q(x) – log p(x)] + Eq(x) [ – log p(s|x)]
= DKL [q(x) || p(x)] + Eq(x) [ – log p(s|x)] (8)
EFE（変形1）
Eq(xτ) Eq(sτ|xτ) [log q(xτ) – log p(xτ | sτ)]
+ Eq(xτ) Eq(sτ|xτ) [ – log p(sτ)]
= Eq(sτ|xτ) [DKL {q(xτ) || p(xτ | sτ)}]
+ Eq(sτ|xτ) [ – log p(sτ)] (10)
EFE（変形2）
Eq(xτ) Eq(sτ|xτ) [log q(xτ) – log p(xτ)]
+ Eq(xτ) Eq(sτ|xτ) [ – log p(sτ | xτ)]
= Eq(sτ|xτ) [DKL {q(xτ) || p(xτ)}]
+ Eq(xτ) Eq(sτ|xτ) [ – log p(sτ | xτ)] (12)
以上の関係を図17に示します。すべての始まりは(3)式で、上側の2つの式はVFEの式、下側の2つの式はEFEの式です。EFEの式では、前に書いたように、x, sをそれぞれ未来の時点τ（タウ）における xτ, sτ に置き換え、Eq(sτ|xτ)（xτという条件のもとでの sτについての期待値）をとったものです。また4つの式は、すべて平均場近似（xとsの独立を仮定）を用いて、最初の式を2つの項に分解したものです。右側と左側はベイズの定理で結ばれています。右側では、p(s,x)=p(s|x)p(x)を使い、左側ではp(s,x)=p(x|s)p(s)を使っています。また、右側では、p(s|x)を第2項へと、左側ではp(s)を第2項へと分解しています。
これが、FEPの基本式のすべてなのですが、4つの式の各項には、その意味を説明する際、正負を変えたりして色々な名前がつけられています。また、特にEFEの式では、文献によって時点の違いによる読み替えや近似が行われているため混乱を誘っている場合がありますのでご注意下さい。ここでは、そのような読み替えや近似は行っていません。以下参照の便をはかるために、主な名前の対照表をつけました。
別名一覧（出典は一例）
基本は最新刊のThomas Parr, et al. (2022) Active Inference , 乾 敏郎（訳）能動的推論 (2022) に依ったが、Evidenceのみは式の項と一致するShannon surpriseとしました。
Divergence (Thomas Parr et al. 2022)
relative entropy （吉田・田口 2018）
Shannon surprise（乾 2019）
負の対数証拠 （乾・坂口 2021）
Evidence (Thomas Parr et al. 2022)
Sensory surprisal （吉田・田口 2018）
Complexity (Thomas Parr et al. 2022)
＊一部Bayesian surpriseとする文献もあるがそれは近似の場合
ambiguity
補足1
- Accuracy (Thomas Parr et al. 2022)
information gain (Thomas Parr et al. 2022)
情報利得（乾訳 2022)
epistemic value （乾・坂口 2021）
認識的価値 （乾・坂口 2021）
補足2
pragmatic value (Thomas Parr et al. 2022)
実利的価値（乾訳 2022)
extrinsic value （乾・坂口 2021）
外在的価値 （乾・坂口 2021）
- predicted surprise（国里 補足資料）
- 予測サプライズ（国里 補足資料）
Risk (Thomas Parr et al. 2022)
コスト （乾・坂口 2021）
Expected ambiguity (Thomas Parr et al. 2022)
成果のエントロピーの事後期待値 （乾・坂口 2021）
補足1 吉田2018では、- AccuracyをUncertaintyとしているが、Uncertaintyは一般に不確実性、不確かさを意味するので本稿では用いない。- Accuracyを一語で表す場合は Ambiguity または inaccuracy を用いる。日本語では曖昧さあるいは不正確さを用いる。
補足2負の(2022/12/20修正）Beayesian surprise であるが。Complexity と混同するので用いない。
ここで、FEPの種明かしその1です。FEPは数学的に難解であるというイメージがありますが、実装ではなく原理を理解するだけならば、使われている数学は高校で習う簡単なものだけです。確率と確率分布とその期待値、ベイズの定理、そして対数の性質（積の対数は対数の和になる）だけです。カルバックライブラー情報量は高校では習いませんが、確率分布の期待値に置き換え可能です。ここにあげた(6),(8),(10),(12)の4つの式は、すべて、(3)式がもとで(10),(12)式は、x, sをそれぞれ未来の時点τ（タウ）における xτ, sτ に置き換え、「xτという条件のもとでの sτについて期待値」を加えただけです。確かにEFEの式は混乱しやすいですが、それは未来から現在を眺めるという普段慣れていない考え方を要求されるからです。（ちょうど、鏡に映った自分の右左がどちらか混乱するのと同じです。）また、それぞれの式はベイズの定理で分解されたものですが、第1項と第2項の分け方が、使うベイズの定理とセットで異なっていることも見た目の混乱を誘っているかもしれません。（p(x,s)=p(x|s)p(s)を使った時は、第2項にp(s)を追い出し、p(x,s)=p(s|x)p(x)を使った時は、第2項にp(s|x)を追い出す。）
むしろ、上記のように、式変形で多くの式を作ったり、式の各項の呼び名が様々であること、そしてそこに近似が入ることが、FEPを難解に見せているのではないでしょうか。
11. FEPの種明かし2（2022/12/4 大幅修正しました）
ところで、ここまで整理してやっとわかったことがあります。FEPは一言で言えば、エージェントが世界に
「適応」かつ「働きかける」原理です。
する原理です。しかし、エージェントが世界に対して働きかける「創発」は、現時点のFEPの射程外だということです。筆者は、第3回にVFEを上げる必要性について書きました。そして、その時点では、EFEを下げることがVFEを上げることにつながるのではないかと考えていました。
それは正しかったようです。
しかし、EFEも未来の話であっても、立てた目標に対する「適応」の原理であり、どんな目標を立てるかについて教えてくれるものではありませんでした。また、現時点では、自己目的的な行動についても説明してくれるものではありませんでした。
図18のサイクルが意味するのは、知覚が行動を、そして行動が知覚を誘発するという循環的因果性です。では、このサイクルはどのようにしてその循環の引き金をひかれるのでしょうか。FEPによればそれは、VFE減少サイクル（過去）ではサプライズの知覚、EFE減少サイクル（未来）では期待（目的）とのギャップの知覚と、いずれも知覚です。そこでいわゆる暗い部屋問題が起きます。つまり、環境からのサプライズがない場合（VFE）、あるいは期待（目的）とのギャップがない場合には、サイクルがスタートせず、従って行動が起きないという問題です。筆者はこの問題は、現時点でのFEPの範囲では、厳密には原理的に解決できないと考えています。もちろん実際には、第3回 (A), (B) に書いたようにサプライズがないという事態はありえませんが、理論的には知覚がなくなるという事態は排除できないと思います。
知覚ー行動サイクルの引き金が知覚のみというのは、このように心もとないものです。しかし、第3回 (C)のように、エージェントの行動が引き金になれば、例え知覚がなくても、サイクルは回り始めます。
以下、目的のない行動について述べていますが、生体の最終目的は「生きること」なので、その意味では、目的のない行動はありません。これを前提にお読みいただければと思います。
そして、実際、サプライズや目的なしで行動が引き金になることは多くあります。それは、乳幼児の探索行動、子供の遊び、大人のレジャー、消費者のバラエティ・シーキング、純粋な芸術活動などの自己目的的行動です。これらの自己目的的行動は、いわばエージェントが世界に働きかける内発的動機による行動です。これに対しFEPが対象とするサプライズやギャップの知覚は、世界からのエージェントへの働きかけ（外発的動機）による行動です。EFEの減少過程に先立つ、目的の設定には確かに内発的なものもがあります。が、これはEFE減少過程には含まれません。EFE減少過程は、目的とのギャップの知覚に始まります。
12.FEPと能動的推論
過去に対するretrodiction（遡及的推論）では、エージェントは、世界からのサプライズに対して、自己が持っていた生成モデルを最適化するという「学習」を行います。この時トータルでVFEが下がるような学習を行います（下がる過程において一時的なVFEの増加はありえます。）。この学習によって次なるサプライズを最小にするという適応が実現されます。
未来に対するprediction（展望的推論）では、エージェントは、望ましい未来に対して、最適と思われる「方策」を立案・実行します。この時トータルでEFEが下がるような方策が選ばれます（下がる過程において一時的なEFEの増加は認められます。）。この方策によって望ましい未来を実現するという未来への適応が実現されます。
しかし、ここで注意していただきたいことがあります。FEPでは、EFE減少のための方策を立案・実行することも「能動的推論」と呼んでいます。確かに未来に向かっての方策を立案・実行するので、能動的と言えるかもしれませんが、この能動性は「望ましい未来」という目的に従属した能動性です。簡単に言えば「ある目的のための行動」です。目的を定めるという自発性、内発性は含んでいません。
能動的推論はactive inference なので「行動的推論」とも訳せます。フリストンの能動的推論は、「行動的推論」と訳した方が紛れがないでしょう。しかもその行動は外発的動機づけによるものに限られ、内発的動機づけによる行動によるものを含みません。「能動」というと、外発的より、むしろ内発的なものを想像してしまうことが、「能動的推論」をわかりにくくしているのではないでしょうか。ですから、筆者は「行動的推論」あるいは「行動による推論」の方が良いと思います。
従って、いわゆる特に目的のない行動、行動自体が目的である行動（自己目的的行動）は、EFEを導入した時点のFEPでも説明されることはありません。
とはいえ、現時点のFEPの射程でも、今まで説明できておらず、FEPで説明できることはたくさんありますし、熱力学と融合させることで、自己目的的行動の説明という問題にも射程を広げられる可能性も充分にあると思いますので、今後説明していきたいと思います。
参考文献
Friston, K. J. (2010). The free-energy principle: a unified brain theory?
Friston, K. J. et al. (2015). Active inference and epistemic value.
Friston, K. J. et al. (2016). Active inference and learning.
乾 敏郎（2019）自由エネルギー原理ー環境との相即不離の主観理論 認知科学26 巻 3 号
乾 敏郎 感情とはそもそも何なのか (2018) ミネルヴァ書房
乾 敏郎 坂口 豊 脳の大統一理論 (2020) 岩波書店
乾 敏郎 坂口 豊 自由エネルギー原理入門 (2021) 岩波書店
藤田 一寿 自由エネルギー原理２ 期待エネルギー
https://www.docswell.com/s/k_fujita/5DRGLK-2022-11-04-224205
国里愛彦 他 計算論的精神医学 (2019) 勁草書房
国里 愛彦 計算論的精神医学 第 7 章「ベイズ推論モデル」の補足資料
https://cpcolloquium.github.io/cp_book/fig/ative_inference_suppl.pdf
大羽 成征 Active Inference (能動推論)に関する誤解
https://note.com/shigepong/n/ncf21aa5d0d36
Thomas Parr, Giovanni Pezzulo, Karl J. Friston (2022) Active Inference
（ 乾 敏郎（訳）能動的推論 (2022) ）
吉田 正俊 田口 茂 自由エネルギー原理と視覚的意識 (2018) 日本神経回路学会誌
https://www.jstage.jst.go.jp/article/jnns/25/3/25_53/_pdf
吉田 正俊 自由エネルギー原理入門 改め 自由エネルギー原理の基礎徹底解説
http://pooneil.sakura.ne.jp/EFE_secALL0503.pdf
この記事が気に入ったらサポートをしてみませんか？