数学、ときどき統計、ところによりIT

理論と実践の狭間で漂流する数学趣味人の記録

数理統計学 7 統計的決定理論 (1)

今回から統計的決定理論について取り上げます。

統計的決定理論とは、結果について不確実性を伴う意思決定を、出来る限り小さなリスクで行えるようにするための理論です。統計学における代表的な問題である回帰問題、推定問題、検定問題は全て統計的決定理論の枠組みの中で定式化することが出来ます。

統計的決定理論を具体的に述べると以下の通りになります。

定義1(統計的決定問題) 下記の1から4を満たす \mathcal{X}\mathcal{B}\mathcal{P}\mathcal{D}\mathcal{A}w と下記5を満たす \delta の族 \Delta が与えられたとき、組 (\mathcal{X},\mathcal{B},\mathcal{P},\mathcal{D},\mathcal{A}, w,\Delta) を統計的決定問題という。

  1. (\mathcal{X},\mathcal{B}) は測度空間、
  2. \mathcal{P}(\mathcal{X},\mathcal{B}) 上の確率分布族、
  3. (\mathcal{D},\mathcal{A}) は測度空間、
  4. w:\mathcal{P}\times \mathcal{D} \to \mathbf{R}_{\ge 0} は各 P\in \mathcal{P} に対して w(P,\cdot):\mathcal{D} \to \mathbf{R}_{\ge 0}\mathcal{A}-可測、
  5. A\in \mathcal{A} に対して \delta(A,\cdot)\mathcal{B}-可測関数、各 x\in\mathcal{X} に対して \delta(\cdot,x) が測度空間 (\mathcal{D},\mathcal{A}) 上の確率測度となるような写像 \delta :\mathcal{A}\times \mathcal{X}\to [0,1]

また (\mathcal{X},\mathcal{B}) を標本空間、(\mathcal{D},\mathcal{A}) を決定空間、w を損失関数、\delta を決定関数と呼ぶ。\delta については、その値域が \{0,1\} のときを非確率的決定関数、それ以外の場合を確率的決定関数と呼ぶ。

 

定義2(危険関数) 次式で定義される r(P,\delta) を危険関数と呼ぶ。\begin{equation} r(P,\delta) := E_P\left[ \int _{\mathcal{D}} w(P, a)\delta(da,\cdot)\right] \notag \end{equation}

 

統計的決定問題を構成する各要素は、

  • \mathcal{X} は観測値が取りうる値全体、
  • \mathcal{P} は観測値が従うと思われる確率分布の候補全体、
  • \mathcal{D} は取りうる行動全体を数値化したもの、
  • \delta は観測値 x\in \mathcal{X} を得たとき確率 \delta (A,x) で行動 A\in \mathcal{A} を取ることを表し、意思決定を写像として表現したもの、
  • w は確率分布 P\in \mathcal{P} の下で行動 a\in \mathcal{D} を取った場合に生じる損失の大きさを数値化したもの、
  • r は確率分布 P\in \mathcal{P} の下で行った意思決定 \delta \in \Delta において生じる損失の平均的な大きさ、

を表しています。

冒頭で述べたことを定義1、定義2の言葉を使って言えば、統計的決定理論とは危険関数 r を小さくするような決定関数 \delta \in \Delta を求めるための理論ということになります。

 

次回は決定関数の優劣について説明します。