数理統計学９　ラオ・ブラックウェルの定理 - 数学、ときどき統計、ところによりＩＴ

今回はラオ・ブラックウェルの定理について説明します。

※本記事は2021/2/1に加筆修正を行いました。

統計的決定問題において、第７回および第８回までは観測値 $x\in\mathcal{X}$ に基づき行動を決定するという考え方の下で議論を進めてきましたが、実際の応用の場面では $x$ そのものではなく、 $x$ の持つ情報を集約して扱いやすくした統計量 $T(x)$ を利用することが一般的です。しかし統計量に加工したことで情報が変質してしまい、誤った意思決定をしてしまうかもしれません。こうした懸念に対して $T(x)$ が十分統計量（第６回参照）であれば、意思決定に影響を与えないことが証明出来ます。

定理１　 $(\mathcal{X},\mathcal{B},\mathcal{P},\Theta,\mathcal{D},\mathcal{A},w,\Delta)$ を統計的決定問題、 $(\mathcal{D},\mathcal{A})$ を標準可測空間、 $(\mathcal{T},\mathcal{C})$ を可測空間、 $T:\mathcal{X}\to\mathcal{T}$ を十分統計量とする。また $\delta\in\Delta$ は任意の $A\in\mathcal{A}$ および $\theta\in\Theta$ に対して $\delta(A,\cdot)\in L^{1}(\mathcal{X},\mathcal{B},P_{\theta})$ とする。このとき $\delta^{\prime}\in\Delta$ で、各 $A\in\mathcal{A}$ に対して $\delta^{\prime}(A,\cdot \,)$ が $T^{-1}(\mathcal{C})$ -可測であり

\begin{gather} E_{P_{\theta}}[\delta(A,\cdot)|T]=\delta^{\prime}(A,\cdot),\quad P_{\theta}\text{-a.s.},\,\forall\theta\in\Theta, \label{eq:conditional_expectation_of_decision_function}\\ r(\theta,\delta^{\prime})=r(\theta,\delta),\quad\forall\theta\in\Theta\label{eq:risk_of_decision_sufficient_statistics} \end{gather} を満たすものが存在する。

証明　 $T$ が十分統計量であるから第６回で述べた定理より各 $A\in\mathcal{A}$ に対して\eqref{eq:conditional_expectation_of_decision_function} を満たす $T^{-1}(\mathcal{C})$ -可測関数 $\delta^{\prime}(A,\cdot)$ が存在する。さらに正則条件付確率の存在を示したやり方と同様の議論により $A\mapsto \delta^{\prime}(A,x)$ が測度であることが示せるから $\delta^{\prime}\in\Delta$ となる。

次に\eqref{eq:risk_of_decision_sufficient_statistics} を示す。\begin{equation*} \int _{\mathcal{D}} 1 _{A}(a) \delta ^{\prime}(da,x) = \delta ^{\prime}(A,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}}1 _A(a)\delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}であることに注意すれば $w(\theta,\cdot)$ に収束する非負単調増加単関数列 $\{w_n(\theta,\cdot) \}_{n\in \mathbf{N}}$ に対して\begin{equation*} \int _{\mathcal{D}} w_n(\theta,a)\delta ^{\prime}(da,x)=E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w_n(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}が成り立つ。これと条件付期待値に関する単調収束定理により\begin{equation*} \int _{\mathcal{D}} w(\theta,a)\delta ^{\prime}(da,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x) \end{equation*}となるから\begin{align*} r(\theta,\delta ^{\prime}) & = E_{P_{\theta}}\! \left[E_{P_{\theta}} \! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot) \ \bigg| \ T\right]\right] \\ & = E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot)\right] =r(\theta,\delta). \end{align*}よって \eqref{eq:risk_of_decision_sufficient_statistics} が示された。（証明終）

注意　定理１は適切な意思決定の為には観測によって得られる情報 $\mathcal{B}$ の全てを使う必要はなく、十分統計量が与える情報 $T^{-1} (\mathcal{M} )$ だけで十分であることを示しています。これが十分統計量が「十分」であると呼ばれる所以です。

定理１では決定関数として確率的なものを許していますが、扱う問題によっては非確率的なもののみに限定したい場合があります。この場合でも（ある条件下において）十分統計量の与える情報のみで適切な意思決定を行えることが示せます。

定理２（ラオ・ブラックウェルの定理）　 $(\mathcal{X},\mathcal{B},\mathcal{P},\Theta, \mathcal{D},\mathcal{A},w,\Delta)$ を統計的決定問題、 $\Delta_{0}$ を非確率的な決定関数全体、 $(\mathcal{T}, \mathcal{M})$ を可測空間、 $T:\mathcal{X}\to \mathcal{T}$ を十分統計量とする。また $\mathcal{D}$ 、 $\mathcal{A}$ 、 $w$ が次の２条件を満たしているとする：

$\mathcal{D}\subset \mathbf{R}^k$ で $\mathcal{D}$ は凸集合かつ $\mathcal{A}$ は $\mathcal{D}$ のボレル集合族全体、
各 $\theta \in \Theta$ で $w(\theta,\cdot)$ は $\mathcal{D}$ 上で定義された $\mathcal{A}$ -可測な凸関数であって $\| a\|_{\mathbf{R^k}}\to \infty$ のとき $w(\theta,\delta)\to \infty$ .

このとき任意の $\delta \in \Delta _0$ に対して $T^{-1}(\mathcal{M})$ -可測な $\delta _0\in \Delta _0$ で次を満たすものが存在する：\begin{equation} r(\theta,\delta _0) \le r(\theta, \delta),\quad \forall \theta \in \Theta. \label{risk_of_non_randomized_decision_sufficient_statistics}\end{equation}

証明　 $\delta\in\Delta_{0}$ に対し $\delta^{\prime}\in\Delta$ を定理1で与えられるものとし、この $\delta^{\prime}$ に対し $\delta_{0} \in \Delta_{0}$ を第８回の定理で与えられるものとすれば、 $\delta_{0}$ が求めるものである。（証明終）

次回はこれまでに述べてきた統計的決定理論の枠組みを使って、統計的仮説検定について説明したいと思います。