確率変数の期待値の不等式:イエンセンの不等式

任意の下に凸の関数$${h(x)}$$の曲線において、$${a,b \ (a < b)}$$の2点を取り、$${\theta,\ 0 < \theta < 1}$$を用いて、2点間のある点$${c, c=\theta a +(1-\theta)b}$$を取る。
$${h(x)}$$は下に凸であることから、$${c}$$点での接線$${g(x)=h'(c)(x-c)+h(c)}$$は、常に$${h(x)\geq g(x)}$$となる。この$${c}$$を、$${x}$$の期待値$${E[x]=c}$$となるようにとれば、$${h(c)=g(c)}$$
$${E[g(x)] = h'(c)E[x]-h'(c)c + h(c)=h(c)}$$より、
$${E[h(x)] \geq E[g(x)] = h(E[x])}$$
よって、$${E[h(x)] \geq h(E[x])}$$となる。
これをイエンセンの不等式と呼ぶ。