笨潔旻畫蝴蘭

這篇文章會介紹充分統計量及相關的重要定理。

$T(X)$是樣本$X$對$\theta$的充分統計量，若且唯若滿足以下等價條件：

$$\begin{align}f_{\Theta|T,X}(\theta,t,x)&=f_{\Theta|T}(\theta,t)&(1)\\f_{X|T,\Theta}(x,t,\theta)&=f_{X|T}(x,t)&(2)\\f_{X,\Theta|T}(x,\theta,t)&=f_{X|T}(x,t)f_{\Theta|T}(\theta,t)&(3)\end{align}$$

。換句話說，只要掌握了充分統計量$T(X)$，就相當於掌握了整個樣本$X$。

第一個要介紹的重要定理是Fisher–Neyman Factorization Theorem：$T(X)$是$X$的充分統計量，若且唯若

$$\left\{\exists g(T(x),\theta)\right\}\left\{\left[\exists h(x)\right]\left[f_{X|\Theta}(x,\theta)=g(T(x),\theta)h(x))\right]\right\}$$

。以下是其證明：假設
$$f_{X|\Theta}(x,\theta)=g(T(x),\theta)h(x)$$
，則
$$\begin{align}f_{X|T,\Theta}(x,t,\theta)&=\frac{f_{X,T|\Theta}(x,t,\theta)}{f_{T|\Theta}(t,\theta)}\\&=\frac{f_{X|\Theta}(x,\theta)\delta(T(x)-t)}{\int f_{X|\Theta}(x,\theta)\delta(T(x)-t)dx}\\
&=\frac{g(T(x),\theta)h(x)\delta(T(x)-t)}{\int g(T(x),\theta)h(x)\delta(T(x)-t)dx}\\&=\frac{g(t,\theta)h(x)\delta(T(x)-t)}{\int g(t,\theta)h(x)\delta(T(x)-t)dx}\\
&=\frac{g(t,\theta)h(x)\delta(T(x)-t)}{g(t,\theta)\int h(x)\delta(T(x)-t)dx}\\&=\frac{h(x)\delta(T(x)-t)}{\int h(x)\delta(T(x)-t)dx}=f_{X|T}(x,t)\end{align}$$
。反之，假設
$$f_{X|T,\Theta}(x,t,\theta)=f_{X|T}(x,t)$$
，令
$$f_{X|T,\Theta}(x,t,\theta)=\frac{h(x)\delta(T(x)-t)}{\int h(x)\delta(T(x)-t)dx}$$
，則
$$\begin{align}f_{X|\Theta}(x,\theta)&=\int f_{X,T|\Theta}(x,t,\theta)dt\\&=\int f_{X|T,\Theta}(x,t,\theta)f_{T|\Theta}(t,\theta)dt\\
&=\int \frac{h(x)\delta(T(x)-t)}{\int h(x)\delta(T(x)-t)dx}f_{T|\Theta}(t,\theta)dt\\
&=h(x)\int \frac{f_{T|\Theta}(t,\theta)\delta(T(x)-t)}{\int h(x)\delta(T(x)-t)dx}dt=h(x)g(T(x),\theta)\end{align}$$

第二個要介紹的是個小引理，是最後要介紹的第三個重要定理的鋪陳。此引理為Rao–Blackwell Theorem：給定$\theta$的估計函數$\hat{\theta}$，已知$T(X)$為充分統計量，令

$$\phi=E\left(\hat{\theta}|T(X)\right)$$

，則對任意的凸函數（Convex Funtion）$h$都滿足

$$E\left[h(\phi)\right]\leq E\left[h\left(\hat{\theta}\right)\right]$$

。以下是其證明：利用詹森不等式（Jensen's inequality）得到

$$\begin{align}&h\left[E\left(\hat{\theta}|T(X)\right)\right]\leq E\left[h\left(\hat{\theta}\right)|T(X)\right]\\
\rightarrow &E\left[h(\phi)\right]\leq E\left\{E\left[h\left(\hat{\theta}\right)|T(X)\right]\right\}=E\left[h\left(\hat{\theta}\right)\right]\end{align}$$

最後要介紹的就是Lehmann–Scheffé Theorem：給定任意$\theta$的無偏估計$\hat{\theta}$，若充分統計量$T(X)$滿足完備性（Completeness），則有唯一的最小方差無偏估計$\phi$：

$$\phi=E\left(\hat{\theta}|T(X)\right)$$

。證明如下：首先證明其為無偏估計，

$$\begin{align}E(\phi)&=\int\phi\cdot f_{T}(t)dt\\
&=\int\left(\int\hat{\theta}f_{X|T}(x|t)dx\right)f_{T}(t)dt\\
&=\int\hat{\theta}\left(\int f_{X|T}(x|t)f_{T}(t)dt\right)dx\\
&=\int\hat{\theta}\left(\int f_{X,T}(x,t)dt\right)dx\\
&=\int\hat{\theta} f_X(x)dx=E(\hat{\theta})=\theta
\end{align}$$

。接著，根據Rao–Blackwell Theorem，$\phi$的變異數不大於$\hat{\theta}$。最後證明唯一性，令$\alpha$及$\beta$為$\theta$之無偏估計，再令

$$\begin{align}&\rho=E(\alpha|T)&,\psi=E(\beta|T)\end{align}$$

。由於$\alpha$及$\beta$都是無偏估計，故

$$E(\rho-\psi)=0$$

，又因為$T(X)$滿足完備性，故

$$Pr(\rho=\psi)=1$$

。