数学、ときどき統計、ところによりIT

理論と実践の狭間で漂流する数学趣味人の記録

ギブスの不等式

今回は相対エントロピーの非負性、いわゆるギブスの不等式について見ていきます。

記号は前回において定義したものを使用します。

定理(ギブスの不等式) (\Omega,\mathcal{F}) を可測空間、\mu\nu(\Omega,\mathcal{F}) 上の確率測度とする。このとき\begin{equation}D(\mu\parallel\nu)\ge0\label{eq:Gibbs_inequality}\end{equation}を満たす。 等号が成立するのは \mu=\nu の場合に限られる。

証明 \mu\not\ll\nu の場合、\nu(A)=0 かつ \(\mu(A)>0\) となる A\in\mathcal{F} を取れば、D(\mu\parallel\nu)=\infty となり \eqref{eq:Gibbs_inequality} を満たす。

\mu\ll\nu の場合について \eqref{eq:Gibbs_inequality} を証明をする。\(t>0\) に対して \log t-(1-t^{-1})\ge0 であり、かつ

\displaystyle \sum_{A\in\tilde{A}}\mu(A)\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)=\sum_{A\in\tilde{A}}\mu(A)-\sum_{A\in\tilde{A}}\nu(A)=0

であるから

 \displaystyle \sum_{A\in\tilde{A}}\mu(A)\log\frac{\mu(A)}{\nu(A)}=\sum_{A\in\tilde{A}}\mu(A)\left\{ \log\frac{\mu(A)}{\nu(A)}-\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)\right\} \ge0.

これが任意の \tilde{A} \in \mathcal{P}(\Omega) で成り立つから \eqref{eq:Gibbs_inequality} を得る。

D(\mu\parallel\nu)=0 とすると、任意の \tilde{A}\in\mathcal{P}(\Omega) に対して

 \displaystyle \sum_{A\in\tilde{A}}\mu(A)\log\frac{\mu(A)}{\nu(A)}=0

より

\displaystyle \log\frac{\mu(A)}{\nu(A)}-\left(1-\left(\frac{\mu(A)}{\nu(A)}\right)^{-1}\right)=0,\quad A\in\tilde{A}

が成り立つ。よって \mu(A)=\nu(A) ( \tilde{A}\in\mathcal{P}(\Omega), A\in\tilde{A} ) となるが、任意の A\in \mathcal{F} に対して \{A,A^{c}\} \in \mathcal{P}(\Omega) であることに注意すると、これは \mu=\nu を意味する。(証明終)