数理統計学 10 統計的仮説検定
仮説の採否を観測値に照らして判断する手法である統計的仮説検定(または単に検定)について、統計的決定理論の枠組みの中で定式化していきます。
まず基本的な方針として仮説の採否は、正しいと思われる方を積極的に支持するのではなく、間違いである可能性が高い方を避ける、という消極的な選択を行います。つまり観測値に応じて仮説を棄却する、または棄却せずに受容するという2者択一の判断をします。そこで検定に関わる決定空間、決定関数を以下の様に定めます。
定義1 を標本空間とする。
- 可測写像 ] を検定関数、または単に検定と呼ぶ。
- 決定空間を 、 とし 検定 による決定関数を\begin{equation*}\delta _{\varphi} (A,x):=\varphi (x)\varepsilon _{\{1\}}(A) + (1- \varphi(x))\varepsilon _{\{0\}}(A),\ \ A\in \mathcal{A},\ x\in \mathcal{X}\end{equation*}で定義する。ただし は におけるデルタ測度とする。また は仮説 を棄却することを表す。従って観測値が であるとき確率 で仮説 を棄却する。
- 検定 が を満たすとき は非確率的となるから を非確率化検定と呼ぶ。非確率的でないとき を確率化検定と呼ぶ。
- から ] への可測写像全体の(部分)集合を とする。 に基づき行われる意思決定全体を とする。
次に検証するべき仮説ですが、観測値が従う分布 に関する仮説が最も基本的です。つまり および は かつ を満たすとし、観測値が ( ) に従う、という仮説を 、それと対立する仮説を とします。*1
これらの仮説を定義1で定める決定関数に従って棄却または受容する訳ですが、定義1によって決まる検定関数(つまり決定関数)は無数に存在します。当然、その場の思いつきで検定関数を選択してしまうと、誤った仮説を選択してしまう可能性が高くなります。そこで、そうした可能性を出来る限り小さくするために、検定関数毎にリスクを定量化し、検定関数の適切さの指標とします。
選択の誤りには次の2種類が存在します。仮説 が正しいのに棄却してしまう第1種の誤りと、仮説 が誤りであるのに受容してしまう第2種の誤りです。そこでこの誤りに関する損失関数を に対して\begin{equation*} w(\theta ,a):=\begin{cases}1_{\{1\} }(a), & \theta \in \Theta_0 \\ 1_{\{0\} }(a), & \theta \in \Theta_1 \end{cases}\end{equation*}と定義します。このとき に関するリスク関数 は\begin{equation*} r(\theta,\delta _{\varphi}):=E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta, a) \delta _{\varphi}(da,\cdot )\right] =\begin{cases}E_{P_{\theta}}[\varphi ], & \theta \in \Theta_0 \\ 1-E_{P_{\theta}}[\varphi ], & \theta \in \Theta_1 \end{cases}\end{equation*}となります。このリスク関数は検定 における第1種および第2種の平均的な損失の大きさ(リスク)を表しています。
さて第1種の誤りと第2種の誤りのリスクには、一方が減少すれば他方は増加する傾向が見られます。実際、 と を を満たす検定とすると に対しては であるにも関わらず に対しては となってしまいます。
そこで第1種の誤りをある程度許容した上で、より問題となる第2種の誤りのリスクを低減していくことを考えます。
定義2
- ] を検定 の大きさ、大きさが 以下の検定を有意水準 の検定と呼ぶ。有意水準が であるような検定全体を と書く:\begin{equation*} \Phi (\alpha, \Theta_0) :=\left\{ \varphi \in \Phi \ \bigg| \ \displaystyle \sup _{\theta\in \Theta_0} E_{P_{\theta}}[\varphi] \le \alpha \right\} .\end{equation*}
- 検定 に対し ] , とする。] を検出力関数という。
は第2種の誤りの大きさになるので、 が大きくなるような検定が望ましい検定となります。最も望ましい検定は任意の 、 に対して を満たす です。この を一様最強力検定と呼び、特に が1点集合の場合は単に最強力検定と呼びます。
最後に検定関数と十分統計量の関係について述べます。
定理 を標本空間、] を検定とする。また を可測空間、 を十分統計量とする。このとき検定 ] で、任意の に対し\begin{gather*}\varphi ^* = E_{P_{\theta}}[\varphi | T],\ \ P_{\theta}\text{-a.s.},\\ r(\theta, \delta _{\varphi^*}) = r(\theta, \delta _{\varphi}^{*}) = r(\theta, \delta_{\varphi}),\end{gather*}を満たすものが存在する。
証明 の存在は第9回の定理1の の存在と同様にして示すことが出来る。そして に関して殆どいたる所で
\begin{align*} \delta _{\varphi}^{*}(A,\cdot) & = E_{P_{\theta}}[\delta _{\varphi}(A,\cdot)|T] \\ &= E_{P_{\theta}}[\varphi \varepsilon _{\{ 1\}}(A) + (1-\varphi ) \varepsilon _{\{ 0\}}(A)|T] \\ & = E_{P_{\theta}}[\varphi | T] \varepsilon _{\{ 1\}}(A) + (1-E_{P_{\theta}}[\varphi |T]) \varepsilon _{\{ 0\}}(A) \\ & = \varphi ^* \varepsilon _{\{ 1\}}(A) + (1-\varphi ^*) \varepsilon _{\{ 0\}}(A) \\ & = \delta _{\varphi^*}(A, \cdot)\end{align*}であるから\begin{align*} r(\theta, \delta _{\varphi}^{*}) & = r(\theta, \delta _{\varphi ^*}) \\ & = E_{P_{\theta}}\! \left[ \int _{\mathcal{D}} w(\theta, a) \delta _{\varphi^*} (da, \cdot)\right] \\ & = w(\theta, 1) E_{P_{\theta}}[\varphi^*] + w(\theta, 0) E_{P_{\theta}}[1-\varphi^*] \\ & = w(\theta, 1) E_{P_{\theta}}[\varphi] + w(\theta, 0) E_{P_{\theta}}[1-\varphi] \\ & = r(\theta, \delta_{\varphi})\end{align*}が成り立つ。(証明終)
次回はp値について議論していきます。