数理統計学７　統計的決定理論（１） - 数学、ときどき統計、ところによりＩＴ

今回から統計的決定理論について取り上げます。

統計的決定理論とは、結果について不確実性を伴う意思決定を、出来る限り小さなリスクで行えるようにするための理論です。統計学における代表的な問題である回帰問題、推定問題、検定問題は全て統計的決定理論の枠組みの中で定式化することが出来ます。

統計的決定理論を具体的に述べると以下の通りになります。

定義１（統計的決定問題）　下記の１から４を満たす $\mathcal{X}$ 、 $\mathcal{B}$ 、 $\mathcal{P}$ 、 $\Theta$ 、 $\mathcal{D}$ 、 $\mathcal{A}$ 、 $w$ と下記５を満たす $\delta$ の族 $\Delta$ が与えられたとき、組 $(\mathcal{X},\mathcal{B},\mathcal{P},\Theta, \mathcal{D},\mathcal{A}, w,\Delta)$ を統計的決定問題という。

$(\mathcal{X},\mathcal{B})$ は測度空間、
$\mathcal{P} =\{ P_{\theta}\}_{\theta \in \Theta}$ は $(\mathcal{X},\mathcal{B})$ 上の確率分布族、
$(\mathcal{D},\mathcal{A})$ は測度空間、
$w:\Theta \times \mathcal{D} \to \mathbf{R}_{\ge 0}$ は各 $\theta\in \Theta$ に対して $w(\theta,\cdot):\mathcal{D} \to \mathbf{R}_{\ge 0}$ は $\mathcal{A}$ -可測、
各 $A\in \mathcal{A}$ に対して $\delta(A,\cdot)$ が $\mathcal{B}$ -可測関数、各 $x\in\mathcal{X}$ に対して $\delta(\cdot,x)$ が測度空間 $(\mathcal{D},\mathcal{A})$ 上の確率測度となるような写像 $\delta :\mathcal{A}\times \mathcal{X}\to [0,1]$ 。

また $(\mathcal{X},\mathcal{B})$ を標本空間、 $(\mathcal{D},\mathcal{A})$ を決定空間、 $w$ を損失関数、 $\delta$ を決定関数と呼ぶ。 $\delta$ については、その値域が $\{0,1\}$ のときを非確率的決定関数、それ以外の場合を確率的決定関数と呼ぶ。

定義２（リスク関数）　次式で定義される $r(\theta,\delta)$ をリスク関数と呼ぶ。\begin{equation} r(\theta,\delta) := E_{P_{\theta}}\left[ \int _{\mathcal{D}} w(\theta, a)\delta(da,\cdot)\right] \notag \end{equation}

統計的決定問題を構成する各要素は、

$\mathcal{X}$ は観測値が取りうる値全体、
$\mathcal{P}$ は観測値が従うと思われる確率分布の候補全体、
$\mathcal{D}$ は取りうる行動全体を数値化したもの、
$\delta$ は観測値が $x\in \mathcal{X}$ のとき確率 $\delta (A,x)$ で行動 $A\in \mathcal{A}$ を取ることを表し、意思決定を写像として表現したもの、
$w$ は確率分布 $P_{\theta}\in \mathcal{P}$ の下で行動 $a\in \mathcal{D}$ を取った場合に生じる損失の大きさを数値化したもの、
$r$ は意思決定 $\delta \in \Delta$ において生じる損失の確率分布 $P_{\theta}\in \mathcal{P}$ の下での平均的な大きさ、