ギブスの不等式 - 数学、ときどき統計、ところによりＩＴ

今回は相対エントロピーの非負性、いわゆるギブスの不等式について見ていきます。

記号は前回において定義したものを使用します。

定理（ギブスの不等式）　 $(\Omega,\mathcal{F})$ を可測空間、 $\mu$ 、 $\nu$ を $(\Omega,\mathcal{F})$ 上の確率測度とする。このとき\begin{equation}D(\mu\parallel\nu)\ge0\label{eq:Gibbs_inequality}\end{equation}を満たす。等号が成立するのは $\mu=\nu$ の場合に限られる。

証明　 $\mu\not\ll\nu$ の場合、 $\nu(A)=0$ かつ $\mu(A)\gt 0$ となる $A\in\mathcal{F}$ を取れば、 $D(\mu\parallel\nu)=\infty$ となり \eqref{eq:Gibbs_inequality} を満たす。

$\mu\ll\nu$ の場合について \eqref{eq:Gibbs_inequality} を証明する。 $t\gt 0$ に対して $\log t-(1-t^{-1})\ge0$ であり、かつ

$\displaystyle \sum_{A\in\tilde{A}}\mu(A)\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)=\sum_{A\in\tilde{A}}\mu(A)-\sum_{A\in\tilde{A}}\nu(A)=0$

であるから

$\displaystyle \sum_{A\in\tilde{A}}\mu(A)\log\frac{\mu(A)}{\nu(A)}=\sum_{A\in\tilde{A}}\mu(A)\left\{ \log\frac{\mu(A)}{\nu(A)}-\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)\right\} \ge0.$

これが任意の $\tilde{A} \in \mathcal{P}(\Omega)$ で成り立つから \eqref{eq:Gibbs_inequality} を得る。

$D(\mu\parallel\nu)=0$ とすると、任意の $\tilde{A}\in\mathcal{P}(\Omega)$ に対して

$\displaystyle \sum_{A\in\tilde{A}}\mu(A)\log\frac{\mu(A)}{\nu(A)}=0$

より

$\displaystyle \log\frac{\mu(A)}{\nu(A)}-\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)=0,\quad A\in\tilde{A}$

が成り立つ。よって $\mu(A)=\nu(A)$ ( $\tilde{A}\in\mathcal{P}(\Omega)$ , $A\in\tilde{A}$ ) となるが、任意の $A\in \mathcal{F}$ に対して $\{A,A^{c}\} \in \mathcal{P}(\Omega)$ であることに注意すると、これは $\mu=\nu$ を意味する。（証明終）