数学、ときどき統計、ところによりIT

理論と実践の狭間で漂流する数学趣味人の記録

数理統計学 9 ラオ・ブラックウェルの定理

今回はラオ・ブラックウェルの定理について説明します。

統計的決定問題において、第7回および第8回までは観測値 x\in\mathcal{X} に基づき行動を決定するという考え方の下で議論を進めてきましたが、実際の応用の場面では x そのものではなく、x の持つ情報を集約して扱いやすくした統計量 T(x) を利用することが一般的です。しかし統計量に加工したことで情報が変質してしまい、誤った意思決定をしてしまうかもしれません。こうした懸念に対して T(x) が十分統計量(第6回参照)であれば、意思決定に影響を与えないことが証明出来ます。

定理1 (\mathcal{X},\mathcal{B},\mathcal{P},\mathcal{D},\mathcal{A},w,\Delta) を統計的決定問題、(\mathcal{T}, \mathcal{M}) を可測空間、T:\mathcal{X}\to \mathcal{T} を十分統計量とし、\delta \in \Delta が任意の A\in \mathcal{A} および \theta \in \Theta に対して \delta (A,\cdot) \in L^1(\mathcal{X},\mathcal{B},P_{\theta}) を満たすとする。このとき各 A\in \mathcal{A} に対して\begin{equation} E_{P_{\theta}}[\delta (A,\cdot)|T] = \delta ^{*}(A,\cdot),\quad P_{\theta}\text{-a.s.},\ \forall \theta \in \Theta \label{conditional_expectation_of_decision_function} \end{equation}となる \delta ^{*}\in \Delta で次を満たすものが存在する:\begin{equation}r(\theta,\delta ^{*}) = r(\theta, \delta), \quad \forall \theta \in \Theta \label{risk_of_decision_sufficient_statistics} \end{equation}

証明 T が十分統計量であるから\begin{equation*} E_{P_{\theta}}[\delta (A,\cdot)|T] = \delta '(A,\cdot),\quad P_{\theta}\text{-a.s.},\ \forall \theta \in \Theta \end{equation*}を満たす T^{-1}(\mathcal{M})-可測関数 \delta ’(A,\cdot) が存在する。また 0\le \delta (A,\cdot)\le 1 より\begin{equation*}0=E_{P_{\theta}}[0|T]\le E_{P_{\theta}}[\delta (A,\cdot)|T] \le E_{P_{\theta}}[1|T] = 1,\quad P\text{-a.s.} \end{equation*}

ここで\begin{equation*}\mathcal{X}_A:=\{ x\in \mathcal{X} \ | \ 0\le \delta '(A,x)\le 1 \}\end{equation*}とすると \delta '(A,\cdot) \in L^1(\mathcal{X},T^{-1}(\mathcal{M}),P_{\theta}) より P_{\theta}(\mathcal{X}\setminus \mathcal{X}_A)=0 を満たす。よって\begin{equation*} \delta ^*(A,x):=\begin{cases} \delta '(A,x) & x\in \mathcal{X}_A \\ 0 & x \in \mathcal{X} \setminus \mathcal{X}_A \end{cases}\end{equation*}と定義すると \eqref{conditional_expectation_of_decision_function} および \begin{equation*}0\le \delta ^*(A,x) \le 1,\quad A\in \mathcal{A},\ x\in \mathcal{X} \end{equation*}が成り立つ。一方、条件付期待値に関する単調収束定理より A_i\cap A_j= \emptyset である \{ A_i\} _{i\in \mathbf{N}}\subset \mathcal{A} に対し\begin{equation*}\delta ^*\left( \bigcup _{i=1}^{\infty} A_i,x\right) = \sum _{i=1}^{\infty} \ \delta ^*(A_i,x),\end{equation*}つまり \delta ^{*}(\cdot,x)\mathcal{A} 上の測度である。以上より \delta ^*\in \Delta となる。

次に\eqref{risk_of_decision_sufficient_statistics} を示す。\begin{equation*} \int _{\mathcal{D}} \chi _{A}(a) \delta ^{*}(da,x) = \delta ^{*}(A,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}}\chi _A(a)\delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}であることに注意すれば w(\theta,\cdot) に収束する非負単調増加単関数列 \{w_n(\theta,\cdot) \}_{n\in \mathbf{N}} に対して\begin{equation*} \int _{\mathcal{D}} w_n(\theta,a)\delta ^{*}(da,x)=E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w_n(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}が成り立つ。これと条件付期待値に関する単調収束定理により\begin{equation*} \int _{\mathcal{D}} w(\theta,a)\delta ^{*}(da,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x) \end{equation*}となるから\begin{align*} r(\theta,\delta ^{*}) & = E_{P_{\theta}}\! \left[E_{P_{\theta}} \! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot) \ \bigg| \ T\right]\right] \\ & = E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot)\right] =r(\theta,\delta). \end{align*}よって \eqref{risk_of_decision_sufficient_statistics} が示された。(証明終)

注意 定理1は適切な意思決定の為には観測で得られた全ての情報を使う必要はなく、十分統計量が与える情報だけで十分であることを示しています。これが十分統計量が「十分」であると呼ばれる所以です。

 

定理1では決定関数として確率的なものを許していますが、扱う問題によっては非確率的なもののみに限定したい場合があります。この場合でも(ある条件下において)十分統計量の与える情報のみで適切な意思決定を行えることが示せます。

定理2(ラオ・ブラックウェルの定理) (\mathcal{X},\mathcal{B},\mathcal{P},\Theta, \mathcal{D},\mathcal{A},w,\Delta) を統計的決定問題、(\mathcal{T}, \mathcal{M}) を可測空間、T:\mathcal{X}\to \mathcal{T} を十分統計量とする。また \mathcal{D}\mathcal{A}w が次の2条件を満たしているとする:

  1. \mathcal{D}\subset \mathbf{R}^k\mathcal{D} は凸集合かつ \mathcal{A}\mathcal{D} のボレル集合族全体、
  2. \theta \in \Thetaw(\theta,\cdot)\mathcal{D} 上で定義された \mathcal{A}-可測な凸関数であって \| a\|_{\mathbf{R^k}}\to \infty のとき w(\theta,\delta)\to \infty.

このとき任意の \delta \in \Delta _0 に対して T^{-1}(\mathcal{M})-可測な \delta _0\in \Delta _0 で次を満たすものが存在する:\begin{equation} r(\theta,\delta _0) \le r(\theta, \delta),\quad \forall \theta \in \Theta. \label{risk_of_non_randomized_decision_sufficient_statistics}\end{equation}

証明 \delta \in \Delta _0 に対し \delta ^{*}\in \Delta を定理1で与えられるものとする:\begin{gather*}E_{P_{\theta}}[\delta (A,\cdot)|T] = \delta ^{*}(A,\cdot),\quad P_{\theta}\text{-a.s.},\ \forall \theta \in \Theta,\ \forall A \in \mathcal{A}\\ r(\theta, \delta ^*)=r(\theta, \delta), \quad \forall \theta \in \Theta. \end{gather*}

いま \delta _0\in \Delta _0

\begin{gather*} \varphi (x) := \begin{cases} \displaystyle \int _{\mathcal{D}} a \ \delta ^*(da, x), & x \in \mathcal{X} \setminus \mathcal{X}_{\infty} \\ a_0, & x \in \mathcal{X}_{\infty} \end{cases} \\ \delta _0(A, x):= \chi _{A} (\varphi(x)) ,\quad A \in \mathcal{A},\ x \in \mathcal{X} \end{gather*}と定義すると \delta ^*T^{-1}(\mathcal{M})-可測より \delta _0T^{-1}(\mathcal{M})-可測となる。さらに第8回の定理と同様にして\begin{equation*} r(\theta,\delta_0) \le r(\theta,\delta^*),\quad \forall \theta \in \Theta\end{equation*}

を示すことが出来る。以上から \eqref{risk_of_non_randomized_decision_sufficient_statistics}が成り立つ。(証明終)

 

次回はこれまでに述べてきた統計的決定理論の枠組みを使って、統計的仮説検定について説明したいと思います。