数理統計学 9 ラオ・ブラックウェルの定理
今回はラオ・ブラックウェルの定理について説明します。
※本記事は2021/2/1に加筆修正を行いました。
統計的決定問題において、第7回および第8回までは観測値 に基づき行動を決定するという考え方の下で議論を進めてきましたが、実際の応用の場面では そのものではなく、 の持つ情報を集約して扱いやすくした統計量 を利用することが一般的です。しかし統計量に加工したことで情報が変質してしまい、誤った意思決定をしてしまうかもしれません。こうした懸念に対して が十分統計量(第6回参照)であれば、意思決定に影響を与えないことが証明出来ます。
定理1 を 統計的決定問題、 を標準可測空間、 を可測空間、 を 十分統計量とする。また は任意の および に対して とする。 このとき で、各 に対して が -可測であり
\begin{gather} E_{P_{\theta}}[\delta(A,\cdot)|T]=\delta^{\prime}(A,\cdot),\quad P_{\theta}\text{-a.s.},\,\forall\theta\in\Theta, \label{eq:conditional_expectation_of_decision_function}\\ r(\theta,\delta^{\prime})=r(\theta,\delta),\quad\forall\theta\in\Theta\label{eq:risk_of_decision_sufficient_statistics} \end{gather} を満たすものが存在する。
証明 が十分統計量であるから 第6回で述べた定理より各 に対して\eqref{eq:conditional_expectation_of_decision_function} を満たす -可測関数 が存在する。さらに正則条件付確率の存在を示したやり方と同様の議論により が測度であることが示せるから となる。
次に\eqref{eq:risk_of_decision_sufficient_statistics} を示す。\begin{equation*} \int _{\mathcal{D}} 1 _{A}(a) \delta ^{\prime}(da,x) = \delta ^{\prime}(A,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}}1 _A(a)\delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}であることに注意すれば に収束する非負単調増加単関数列 に対して\begin{equation*} \int _{\mathcal{D}} w_n(\theta,a)\delta ^{\prime}(da,x)=E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w_n(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x)\end{equation*}が成り立つ。これと条件付期待値に関する単調収束定理により\begin{equation*} \int _{\mathcal{D}} w(\theta,a)\delta ^{\prime}(da,x)= E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a) \delta (da,\cdot) \ \bigg| \ T \right] \! (x) \end{equation*}となるから\begin{align*} r(\theta,\delta ^{\prime}) & = E_{P_{\theta}}\! \left[E_{P_{\theta}} \! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot) \ \bigg| \ T\right]\right] \\ & = E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta,a)\delta (da,\cdot)\right] =r(\theta,\delta). \end{align*}よって \eqref{eq:risk_of_decision_sufficient_statistics} が示された。(証明終)
注意 定理1は適切な意思決定の為には観測によって得られる情報 の全てを使う必要はなく、十分統計量が与える情報 だけで十分であることを示しています。これが十分統計量が「十分」であると呼ばれる所以です。
定理1では決定関数として確率的なものを許していますが、扱う問題によっては非確率的なもののみに限定したい場合があります。この場合でも(ある条件下において)十分統計量の与える情報のみで適切な意思決定を行えることが示せます。
定理2(ラオ・ブラックウェルの定理) を統計的決定問題、 を非確率的な決定関数全体、 を可測空間、 を十分統計量とする。また 、、 が次の2条件を満たしているとする:
- で は凸集合かつ は のボレル集合族全体、
- 各 で は 上で定義された -可測な凸関数であって のとき .
このとき任意の に対して -可測な で次を満たすものが存在する:\begin{equation} r(\theta,\delta _0) \le r(\theta, \delta),\quad \forall \theta \in \Theta. \label{risk_of_non_randomized_decision_sufficient_statistics}\end{equation}
証明 に対し を定理1で与えられるものとし、この に対し を第8回の定理で与えられるものとすれば、 が求めるものである。(証明終)
次回はこれまでに述べてきた統計的決定理論の枠組みを使って、統計的仮説検定について説明したいと思います。