数学、ときどき統計、ところによりIT

理論と実践の狭間で漂流する数学趣味人の記録

数理統計学 8 統計的決定理論 (2)

今回は決定関数の優劣について説明します。

はじめに決定関数の優劣に関する言葉を定義します。

定義 \delta_1,\ \delta_2\in \Delta とする。

  1. 任意の P\in \mathcal{P} に対して r(P,\delta_1)\le r(P,\delta_2) を満たすとき \delta_1\delta_2 より少なくても同程度に優れているという。
  2. \delta_1\delta_2 より少なくても同程度に優れていて、かつ \(r(P,\delta_1) < r(P,\delta_2)\) を満たす P\in \mathcal{P} が存在するとき \delta_1\delta_2 より優れているという。
  3. 任意の P\in \mathcal{P} に対して r(P,\delta_1)= r(P,\delta_2) を満たすとき \delta_1\delta_2 は同等という。
  4. 任意の \delta \in \Delta より \delta _0\in \Delta が少なくても同程度に優れているとき、\delta _0\Delta の中で最良であるという。
  5. \delta _0 \in \Delta より優れた \delta \in \Delta が存在しないとき、\delta _0 は許容的であるという。

 

上記の言葉を用いれば統計的決定問題とは想定する確率分布の下、出来る限り優れた決定関数を見つける問題であるということが出来ます。この問題の解の探索範囲について一般には確率的決定関数全体 \Delta ですが、決定空間 \mathcal{D} と損失関数 w に凸性がある場合は非確率的決定関数全体 \Delta _0 で考えれば十分であることが示せます。つまり

定理 統計的決定問題 (\mathcal{X}, \mathcal{B},\mathcal{P},\mathcal{D},\mathcal{A},\mathcal{w},\Delta) において次の2条件

  1. \mathcal{D}\subset \mathbf{R}^k\mathcal{D} は凸集合かつ \mathcal{A}\mathcal{D} のボレル集合族全体、
  2. P\in \mathcal{P}w(P,\cdot)\mathcal{D} 上で定義された \mathcal{A}-可測な凸関数であって \| a\|_{\mathbf{R^k}}\to \infty のとき w(P,\delta)\to \infty

を満たすとする。このとき任意の \delta \in\Delta \setminus \Delta _0 に対して \delta より少なくても同程度に優れている \delta_0 \in \Delta _0 が存在する。

証明 任意の \delta \in\Delta \setminus \Delta _0 を取り固定する。また\begin{equation} \mathcal{P}_0 :=\left\{ P\in \mathcal{P} \ | \ r(P,\delta) < \infty \notag \right\}\end{equation}

とする。P\in \mathcal{P} \setminus \mathcal{P}_0 のときは任意の \delta_0 \in\Delta_0 に対して\begin{equation} r(P, \delta_0) \le r(P, \delta) = \infty \notag \end{equation}が成り立つから定理の主張は自明。

P\in \mathcal{P}_0 の場合に定理を証明する。\begin{equation}\mathcal{X}_{\infty} :=\left\{x\in \mathcal{X} \ \Bigg| \int _{\mathcal{D}} w(P,a)\delta(da, x) = \infty \right\} \notag \end{equation}とすると、任意の P\in \mathcal{P}_0 に対して P(\mathcal{X} _{\infty})=0 が成り立つ。実際、\(P(\mathcal{X}_{\infty})>0\) ならば任意の \(n > 0\) に対して\begin{align*} r(P, \delta) & = \int _{\mathcal{X}} P(dx) \int _{\mathcal{D}} w(P,a)\delta (da, x) \\ & = \int _{\mathcal{X_{\infty}}} + \int _{\mathcal{X} \setminus \mathcal{X_{\infty}}} \ge \int _{\mathcal{X}_{\infty}} n \ P(dx) + \int _{\mathcal{X} \setminus \mathcal{X_{\infty}}} \ge n \ P(\mathcal{X}_{\infty})\end{align*}であるから \( r(P, \delta) < \infty\) に反する。

一方、仮定2より適当な \(\alpha _P >0\)、\(\beta _P \in \mathbf{R} \) を取って\begin{equation*} \alpha _P \| a\| _{\mathbf{R}^k}+ \beta _P \le w(P,a),\quad a\in \mathcal{D}\end{equation*}と出来る*1から x \in \mathcal{X} \setminus \mathcal{X}_{\infty} に対して\begin{equation*} \int _{\mathcal{D}} \| a \| _{\mathbf{R}^k} \delta (da, x)\le \int _{\mathcal{D}} \frac{w(P, a)-\beta _P}{\alpha _P} \delta(da, x) < \infty .\end{equation*}

よって\begin{equation*} \varphi (x) := \begin{cases} \displaystyle \int _{\mathcal{D}} a \delta (da, x), & x \in \mathcal{X} \setminus \mathcal{X}_{\infty} \\ a_0 , & x \in \mathcal{X}_{\infty} \end{cases} \end{equation*} (ただし a_0\mathcal{D} の任意の元)が定義できて、\varphi\mathcal{B}/\mathcal{A}-可測になる*2。さらに\begin{equation*}\delta _0(A, x):= \chi _{A} (\varphi(x)) ,\quad A \in \mathcal{A},\ x \in \mathcal{X} \end{equation*}

とすれば \delta_0(A,\cdot)\mathcal{B}-可測、つまり \delta_0\in\Delta _0 となる。任意の x\in \mathcal{X} \setminus \mathcal{X}_{\infty}に対し\begin{equation*} \delta _0(A,x)=0,\quad A\subset \mathcal{D}\setminus \{ \varphi (x)\}\notag\end{equation*}であるから\begin{equation*} \int _{\mathcal{D}} w(P,a)\delta _0(da,x)= \int _{\{\varphi (x)\}}+ \int _{\mathcal{D}\setminus \{ \varphi (x)\}} =w(P,\varphi (x)). \end{equation*}

よってイェンセンの不等式より\begin{align*} r(P, \delta_0) & = \int _{\mathcal{X}} P(dx)\int _{\mathcal{D}} w(P,a)\delta_0(da,x) \\ & = \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P(dx) w(P,\varphi (x)) \\&= \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P(dx) w\left(P,\int _{\mathcal{D}} a\delta (da,x)\right) \\ & \le \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P(dx) \int _{\mathcal{D}} w(P,a)\delta (da,x)\\ & = r(P, \delta) \end{align*}

が成り立つ。\(\square\)

 

次回はラオ・ブラックウェルの定理について説明します。

*1:鍋谷清治「数理統計学」の定理1.5.6 参照

*2:\varphi を近似する関数列を \varphi _n(x) = \sum _ia_{n,i}\delta (A_{n,i},x) とすると各 \varphi _n\mathcal{B}/\mathcal{A}-可測なので \varphi = \lim _{n}\varphi _{n} も  \mathcal{B}/\mathcal{A}-可測となります。