今回は決定関数の優劣について説明します。
はじめに決定関数の優劣に関する言葉を定義します。
定義 
とする。
- 任意の
に対して 
を満たすとき 
は 
より少なくても同程度に優れているという。
- が より少なくても同程度に優れていて、かつ
を満たす 
が存在するとき は より優れているという。
- 任意の に対して
を満たすとき と は同等という。
- 任意の
より 
が少なくても同程度に優れているとき、
は 
の中で最良であるという。
より優れた が存在しないとき、 は許容的であるという。
上記の言葉を用いれば統計的決定問題とは想定する確率分布の下、出来る限り優れた決定関数を見つける問題であるということが出来ます。この問題の解の探索範囲について一般には確率的決定関数全体 ですが、決定空間 
と損失関数 
に凸性がある場合は非確率的決定関数全体 
で考えれば十分であることが示せます。つまり
定理 統計的決定問題 
において次の２条件
で は凸集合かつ 
は のボレル集合族全体、- 各 で
は 上で定義された -可測な凸関数であって 
のとき 
を満たすとする。このとき任意の 
に対して 
より少なくても同程度に優れている 
が存在する。
証明 任意の を取り固定する。また\begin{equation} \Theta_0 :=\left\{ \theta \in \Theta \ | \ r(\theta,\delta) < \infty \notag \right\}\end{equation}
とする。
のときは任意の 
に対して\begin{equation} r(\theta, \delta_0) \le r(\theta, \delta) = \infty \notag \end{equation}が成り立つから定理の主張は自明。
の場合に定理を証明する。\begin{equation}\mathcal{X}_{\infty} :=\left\{x\in \mathcal{X} \ \Bigg| \int _{\mathcal{D}} w(\theta,a)\delta(da, x) = \infty \right\} \notag \end{equation}とすると 
が成り立つ。実際、
ならば任意の 
に対して\begin{align*} r(\theta, \delta) & = \int _{\mathcal{X}} P_{\theta}(dx) \int _{\mathcal{D}} w(\theta,a)\delta (da, x) \\ & = \int _{\mathcal{X_{\infty}}} + \int _{\mathcal{X} \setminus \mathcal{X_{\infty}}} \ge \int _{\mathcal{X}_{\infty}} n \ P_{\theta}(dx) + \int _{\mathcal{X} \setminus \mathcal{X_{\infty}}} \ge n \ P_{\theta}(\mathcal{X}_{\infty})\end{align*}であるから 
に反する。
一方、仮定２より適当な 
、
を取って\begin{equation*} \alpha _{P_{\theta}} \| a\| _{\mathbf{R}^k}+ \beta _{P_{\theta}} \le w(\theta,a),\quad a\in \mathcal{D}\end{equation*}と出来る*1から 
に対して\begin{equation*} \int _{\mathcal{D}} \| a \| _{\mathbf{R}^k} \delta (da, x)\le \int _{\mathcal{D}} \frac{w(\theta, a)-\beta _{P_{\theta}}}{\alpha _{P_{\theta}}} \delta(da, x) \lt \infty .\end{equation*}
よって\begin{equation*} \varphi (x) := \begin{cases} \displaystyle \int _{\mathcal{D}} a \delta (da, x), & x \in \mathcal{X} \setminus \mathcal{X}_{\infty} \\ a_0 , & x \in \mathcal{X}_{\infty} \end{cases} \end{equation*} （ただし 
は の任意の元）が定義できて、
は 
-可測になる*2。さらに\begin{equation*}\delta _0(A, x):= \chi _{A} (\varphi(x)) ,\quad A \in \mathcal{A},\ x \in \mathcal{X} \end{equation*}
とすれば 
は 
-可測、つまり 
となる。任意の 
に対し\begin{equation*} \delta _0(A,x)=0,\quad A\subset \mathcal{D}\setminus \{ \varphi (x)\}\notag\end{equation*}であるから\begin{equation*} \int _{\mathcal{D}} w(\theta,a)\delta _0(da,x)= \int _{\{\varphi (x)\}}+ \int _{\mathcal{D}\setminus \{ \varphi (x)\}} =w(\theta,\varphi (x)). \end{equation*}
よってイェンセンの不等式より\begin{align*} r(\theta, \delta_0) & = \int _{\mathcal{X}} P_{\theta}(dx)\int _{\mathcal{D}} w(\theta,a)\delta_0(da,x) \\ & = \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P_{\theta}(dx) w(\theta,\varphi (x)) \\&= \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P_{\theta}(dx) \ w\! \left(\theta,\int _{\mathcal{D}} a\delta (da,x)\right) \\ & \le \int _{\mathcal{X} \setminus \mathcal{X}_{\infty}} P_{\theta}(dx) \int _{\mathcal{D}} w(\theta,a)\delta (da,x)\\ & = r(\theta, \delta) \end{align*}
が成り立つ。（証明終）
次回はラオ・ブラックウェルの定理について説明します。
