測度論的相対エントロピー
今回は一般の可測空間上の 2 つの確率測度に対する相対エントロピーおよびそれに関する基本定理について紹介します。
以下、対数の底は自然対数 に限定するため、対数を表記するときは底を明記せず単に と書くことにします。また 、、 とします。
定義 を可測空間、 を の部分 -加法族とする。
- の有限部分集合族 が
を満たすとき、 を の有限 可測分割と呼び、 の有限 可測分割全体を と書く。 は単に と書き、これを の有限可測分割と呼ぶ。 - 上の確率測度 、 に対して
を に関する の に対する(測度論的)相対エントロピーと呼ぶ。 は単に と書き、これを の に対する(測度論的)相対エントロピーと呼ぶ。
測度空間 上の -有限な測度 、 について、 が に対して絶対連続であるとき と書くことにします。
定理(ゲルファント-コルモゴロフ-ヤグロムの定理) を可測空間、、 を 上の確率測度とするとき、次が成り立つ:\begin{equation*}D(\mu\parallel\nu)=\begin{cases}{\displaystyle \int_{\Omega} \frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu} & \mu\ll\nu\\\infty & \mu\not\ll\nu\end{cases}\end{equation*}
の場合、 かつ となる が存在します。この を含む有限可測分割 を考えれば となることが直ちに示されます。よって以下、 の場合について定理を証明します。証明は補題 1 および補題 2 の 2 段階に分けて行います。
補題1 のとき\begin{equation}D(\mu\parallel\nu)\le\int_{\Omega}\frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu.\label{eq:GKY:inequality_less}\end{equation}
証明 のとき、ラドン-ニコディムの定理より
を満たす がただ一つ存在する。
である に対して\begin{equation}\mu(A)\log\frac{\mu(A)}{\nu(A)}\le\int_{A}\frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu\label{eq:GKY:inequality_less_lemma}\end{equation}を示す。
\eqref{eq:GKY:inequality_less_lemma} の右辺の積分が の場合 \eqref{eq:GKY:inequality_less_lemma} が成り立つのは明らかであるから、右辺の積分が有限な場合を考える。関数 () は 凸関数であるからイェンセンの不等式より
特に の場合、
となり \eqref{eq:GKY:inequality_less_lemma} を得る。\eqref{eq:GKY:inequality_less} は \eqref{eq:GKY:inequality_less_lemma} から直ちに従う。(証明終)
補題2 のとき\begin{equation}D(\mu\parallel\nu)\ge\int_{\Omega}\frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu.\label{eq:GKY:inequality_greater}\end{equation}
証明 (, , , ) および を\begin{gather*}A_{n,k}:=\left\{ \omega\in\Omega\,\bigg|\,\frac{k}{2^{n}}\le\frac{d\mu}{d\nu}(\omega)<\frac{k+1}{2^{n}}\right\} ,\\A_{n,2^{n}n}:=\left\{ \omega\in\Omega\,\bigg|\,\frac{d\mu}{d\nu}(\omega)\ge n\right\} \end{gather*}とすると は の有限可測分割である。
各 (, , , ) に対して
より\begin{equation}\frac{k}{2^{n}}\le\frac{\mu(A_{n,k})}{\nu(A_{n,k})}<\frac{k+1}{2^{n}}.\label{eq:GKY:range_of_ratio_1}\end{equation}また
より のとき\begin{equation}\frac{\mu(A_{n,2^{n}n})}{\nu(A_{n,2^{n}n})}\ge n.\label{eq:GKY:range_of_ratio_2}\end{equation}
いま 上の関数 、 を\begin{gather*}f_{n}(\omega):=\sum_{k=0}^{2^{n}n-1}\,\frac{k}{2^{n}}\,1_{A_{n,k}}(\omega),\\g_{n}(\omega):=\sum_{k=0}^{2^{n}n-1}\,\frac{\mu(A_{n,k})}{\nu(A_{n,k})}\,1_{A_{n,k}}(\omega)\end{gather*}とすると、 の定義および \eqref{eq:GKY:range_of_ratio_1} より (, , , ) に対して\begin{gather}f_{n}(\omega)=\frac{k}{2^{n}}\le\frac{d\mu}{d\nu}(\omega)<\frac{k+1}{2^{n}},\label{eq:GKY:range_of_RN_derivative}\\f_{n}(\omega)=\frac{k}{2^{n}}\le g_{n}(\omega)<\frac{k+1}{2^{n}}\label{eq:GKY:range_of_ratio}\end{gather}であるから、 に関し、ほとんど全ての に対して\begin{gather}0\le\frac{d\mu}{d\nu}(\omega)-f_{n}(\omega)<\frac{1}{2^{n}},\label{eq:GKY:estimation_for_approximation}\\\left|\frac{d\mu}{d\nu}(\omega)-g_{n}(\omega)\right|<\frac{1}{2^{n}}.\label{eq:GKY:estimation_for_ratio}\end{gather}また より\begin{equation}\nu\left(\left\{ \omega\in\Omega\,\bigg|\,\frac{d\mu}{d\nu}(\omega)=\infty\right\} \right)=0.\label{eq:GKY:RN_derivative_equal_infinity_is_null_set}\end{equation} \eqref{eq:GKY:estimation_for_approximation} \eqref{eq:GKY:estimation_for_ratio} \eqref{eq:GKY:RN_derivative_equal_infinity_is_null_set} より\begin{equation}\lim_{n\to\infty}f_{n}=\lim_{n\to\infty}g_{n}=\frac{d\mu}{d\nu},\quad\nu\text{-a.e.}\label{eq:GKY:limit_of_approximation}\end{equation}さらに は の細分になっているから、 上で\begin{equation}f_{n}\le f_{n+1}.\label{eq:GKY:monotonicity}\end{equation}ここで\begin{gather*}A_{\ge1}:=\left\{ \omega\in\Omega\,\bigg|\,\frac{d\mu}{d\nu}(\omega)\ge1\right\} =\bigcup_{k=2^{n}}^{2^{n}n}A_{n,k},\\A_{<1}:=\left\{ \omega\in\Omega\,\bigg|\,0\le\frac{d\mu}{d\nu}(\omega)<1\right\} =\bigcup_{k=0}^{2^{n}-1}A_{n,k}\end{gather*}とおく。
積分 を評価する。関数 は で単調増加関数であり、また は 上で を満たす単調増加列であるから、 は 上で非負な単調増加関数列となる。よって単調収束定理より
つまり任意の に対して が存在して
ここで \eqref{eq:GKY:range_of_ratio} より 上で であるから\begin{equation}\int_{A_{\ge1}}\frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu<\int_{A_{\ge1}}g_{n}\log g_{n}d\nu+\frac{\varepsilon}{2},\quad\forall n>N_{1}.\label{eq:GKY:estimation_for_integral_1}\end{equation}
次に積分 を評価する。\eqref{eq:GKY:range_of_ratio} より に対して であるから、 上で
よってルベーグの優収束定理より
つまり任意の に対して が存在して\begin{equation}\int_{A_{<1}}\frac{d\mu}{d\nu}\log\frac{d\mu}{d\nu}d\nu<\int_{A_{<1}}g_{n}\log g_{n}d\nu+\frac{\varepsilon}{2},\quad\forall n>N_{2}.\label{eq:GKY:estimation_for_integral_2}\end{equation}
\eqref{eq:GKY:estimation_for_integral_1} \eqref{eq:GKY:estimation_for_integral_2}より である全ての に対して
ここで が(殆どいたるところで)有界の場合、つまり となる が存在する場合、 より となることから によって
また全ての で となる場合、\eqref{eq:GKY:range_of_ratio_2}より
であるから
よって
は任意であるから \eqref{eq:GKY:inequality_greater} が成り立つ。(証明終)