数理统计学研究的对象是带有随机性的数据。在统计问题中，我们把研究对象的全体称为总体（Population），总体中的每个元素称为个体（Individual）。

在实际问题中，我们往往并不关心个体的所有特征，而是关注某个或某几个数量指标。因此，总体通常可以用一个随机变量 $X$ 来表示，而总体的分布也就是随机变量 $X$ 的分布。

定义 1.1（总体）：在统计问题中，研究对象的全体称为总体。从数学角度看，总体是一个概率分布，或者说是服从该分布的随机变量 $X$。

为了了解总体的性质，我们通常从总体中抽取一部分个体进行观测，这些被抽取的个体称为样本（Sample），样本中个体的数目称为样本容量（Sample Size）。

定义 1.2（简单随机样本）：设 $X$ 是具有分布函数 $F(x)$ 的随机变量，若 $X_1, X_2, \\ldots, X_n$ 是具有同一分布函数 $F(x)$ 的相互独立的随机变量，则称 $X_1, X_2, \\ldots, X_n$ 为从总体 $X$ 得到的容量为 $n$ 的简单随机样本，简称样本。

简单随机样本具有两个重要特性：

• 独立性：$X_1, X_2, \\ldots, X_n$ 相互独立
• 同分布性：$X_1, X_2, \\ldots, X_n$ 与总体 $X$ 同分布

设总体 $X$ 的分布函数为 $F(x)$，概率密度函数（或概率质量函数）为 $f(x)$，则样本 $X_1, X_2, \\ldots, X_n$ 的联合分布函数为：

$$F(x_1, x_2, \\ldots, x_n) = \\prod_{i=1}^{n} F(x_i)$$

联合概率密度函数（或联合概率质量函数）为：

$$f(x_1, x_2, \\ldots, x_n) = \\prod_{i=1}^{n} f(x_i)$$

样本是对总体进行统计推断的依据。但在实际应用中，我们往往不直接使用样本的原始数据，而是针对不同的问题构造样本的某种函数，利用这些样本函数来进行统计推断。

定义 1.3（统计量）：设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X$ 的一个样本，$g(X_1, X_2, \\ldots, X_n)$ 是 $X_1, X_2, \\ldots, X_n$ 的函数，若 $g$ 中不含任何未知参数，则称 $g(X_1, X_2, \\ldots, X_n)$ 是一统计量（Statistic）。

统计量是随机变量，其分布称为抽样分布（Sampling Distribution）。

样本均值（Sample Mean）：

$$\\bar{X} = \\frac{1}{n}\\sum_{i=1}^{n}X_i$$

样本方差（Sample Variance）：

$$S^2 = \\frac{1}{n-1}\\sum_{i=1}^{n}(X_i - \\bar{X})^2 = \\frac{1}{n-1}\\left(\\sum_{i=1}^{n}X_i^2 - n\\bar{X}^2\\right)$$

样本标准差（Sample Standard Deviation）：

$$S = \\sqrt{S^2}$$

样本 $k$ 阶原点矩（Sample $k$-th Moment）：

$$A_k = \\frac{1}{n}\\sum_{i=1}^{n}X_i^k, \\quad k = 1, 2, \\ldots$$

样本 $k$ 阶中心矩（Sample $k$-th Central Moment）：

$$B_k = \\frac{1}{n}\\sum_{i=1}^{n}(X_i - \\bar{X})^k, \\quad k = 2, 3, \\ldots$$

样本偏度（Skewness）：

$$g_1 = \\frac{B_3}{B_2^{3/2}} = \\frac{\\frac{1}{n}\\sum_{i=1}^{n}(X_i - \\bar{X})^3}{\\left[\\frac{1}{n}\\sum_{i=1}^{n}(X_i - \\bar{X})^2\\right]^{3/2}}$$

样本峰度（Kurtosis）：

$$g_2 = \\frac{B_4}{B_2^2} - 3 = \\frac{\\frac{1}{n}\\sum_{i=1}^{n}(X_i - \\bar{X})^4}{\\left[\\frac{1}{n}\\sum_{i=1}^{n}(X_i - \\bar{X})^2\\right]^2} - 3$$

设总体 $X$ 的数学期望 $E(X) = \\mu$，方差 $D(X) = \\sigma^2$，则：

定理 1.1：设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X$ 的样本，则：

1. $E(\\bar{X}) = \\mu$
2. $D(\\bar{X}) = \\frac{\\sigma^2}{n}$
3. $E(S^2) = \\sigma^2$

证明：

(1) $E(\\bar{X}) = E\\left(\\frac{1}{n}\\sum_{i=1}^{n}X_i\\right) = \\frac{1}{n}\\sum_{i=1}^{n}E(X_i) = \\frac{1}{n} \\cdot n\\mu = \\mu$

(2) $D(\\bar{X}) = D\\left(\\frac{1}{n}\\sum_{i=1}^{n}X_i\\right) = \\frac{1}{n^2}\\sum_{i=1}^{n}D(X_i) = \\frac{1}{n^2} \\cdot n\\sigma^2 = \\frac{\\sigma^2}{n}$

(3) 由于 $\\sum_{i=1}^{n}(X_i - \\bar{X})^2 = \\sum_{i=1}^{n}X_i^2 - n\\bar{X}^2$，因此：

$$E(S^2) = \\frac{1}{n-1}E\\left[\\sum_{i=1}^{n}X_i^2 - n\\bar{X}^2\\right] = \\frac{1}{n-1}\\left[\\sum_{i=1}^{n}E(X_i^2) - nE(\\bar{X}^2)\\right]$$

由 $E(X_i^2) = D(X_i) + [E(X_i)]^2 = \\sigma^2 + \\mu^2$ 和 $E(\\bar{X}^2) = D(\\bar{X}) + [E(\\bar{X})]^2 = \\frac{\\sigma^2}{n} + \\mu^2$，得：

$$E(S^2) = \\frac{1}{n-1}\\left[n(\\sigma^2 + \\mu^2) - n\\left(\\frac{\\sigma^2}{n} + \\mu^2\\right)\\right] = \\frac{1}{n-1} \\cdot (n-1)\\sigma^2 = \\sigma^2$$

定义 1.4（充分统计量）：设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X$ 的样本，$T = T(X_1, X_2, \\ldots, X_n)$ 是一个统计量。若在已知 $T = t$ 的条件下，样本的条件分布与参数 $\\theta$ 无关，则称 $T$ 是参数 $\\theta$ 的充分统计量（Sufficient Statistic）。

直观理解：充分统计量 $T$ 包含了样本中关于参数 $\\theta$ 的全部信息。一旦知道了 $T$ 的值，样本的其他信息就不再提供关于 $\\theta$ 的额外信息了。

判断一个统计量是否充分，最常用的方法是因子分解定理（Factorization Theorem），也称为Neyman-Fisher定理。

定理 1.2（因子分解定理）：设 $X_1, X_2, \\ldots, X_n$ 是来自具有概率密度函数（或概率质量函数）$f(x; \\theta)$ 的总体的样本，$T = T(X_1, X_2, \\ldots, X_n)$ 是一个统计量，则 $T$ 是 $\\theta$ 的充分统计量的充要条件是：存在函数 $g(t; \\theta)$ 和 $h(x_1, x_2, \\ldots, x_n)$，使得对所有的 $x_1, x_2, \\ldots, x_n$ 和 $\\theta$，有：

$$f(x_1, x_2, \\ldots, x_n; \\theta) = g(T(x_1, x_2, \\ldots, x_n); \\theta) \\cdot h(x_1, x_2, \\ldots, x_n)$$

其中 $h(x_1, x_2, \\ldots, x_n)$ 不依赖于 $\\theta$。

例 1.1：设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X \\sim B(1, p)$ 的样本，证明 $T = \\sum_{i=1}^{n}X_i$ 是 $p$ 的充分统计量。

证明：样本的联合概率质量函数为：

$$f(x_1, x_2, \\ldots, x_n; p) = \\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i} = p^{\\sum_{i=1}^{n}x_i}(1-p)^{n-\\sum_{i=1}^{n}x_i}$$

令 $T = \\sum_{i=1}^{n}x_i$，则：

$$f(x_1, x_2, \\ldots, x_n; p) = p^T(1-p)^{n-T} = g(T; p) \\cdot 1$$

其中 $g(T; p) = p^T(1-p)^{n-T}$，$h(x_1, x_2, \\ldots, x_n) = 1$。

由因子分解定理，$T = \\sum_{i=1}^{n}X_i$ 是 $p$ 的充分统计量。

例 1.2：设 $X_1, X_2, \\ldots, X_n$ 是来自正态总体 $N(\\mu, \\sigma^2)$ 的样本，其中 $\\sigma^2$ 已知，证明 $\\bar{X}$ 是 $\\mu$ 的充分统计量。

证明：样本的联合概率密度函数为：

$$f(x_1, x_2, \\ldots, x_n; \\mu) = \\prod_{i=1}^{n}\\frac{1}{\\sqrt{2\\pi}\\sigma}\\exp\\left\\{-\\frac{(x_i-\\mu)^2}{2\\sigma^2}\\right\\}$$

$$= (2\\pi)^{-n/2}\\sigma^{-n}\\exp\\left\\{-\\frac{1}{2\\sigma^2}\\sum_{i=1}^{n}(x_i-\\mu)^2\\right\\}$$

展开平方项：

$$\\sum_{i=1}^{n}(x_i-\\mu)^2 = \\sum_{i=1}^{n}(x_i-\\bar{x})^2 + n(\\bar{x}-\\mu)^2$$

因此：

$$f(x_1, x_2, \\ldots, x_n; \\mu) = (2\\pi)^{-n/2}\\sigma^{-n}\\exp\\left\\{-\\frac{1}{2\\sigma^2}\\sum_{i=1}^{n}(x_i-\\bar{x})^2\\right\\} \\cdot \\exp\\left\\{-\\frac{n(\\bar{x}-\\mu)^2}{2\\sigma^2}\\right\\}$$

令 $T = \\bar{x}$，则：

$$g(T; \\mu) = \\exp\\left\\{-\\frac{n(T-\\mu)^2}{2\\sigma^2}\\right\\}$$

$$h(x_1, x_2, \\ldots, x_n) = (2\\pi)^{-n/2}\\sigma^{-n}\\exp\\left\\{-\\frac{1}{2\\sigma^2}\\sum_{i=1}^{n}(x_i-\\bar{x})^2\\right\\}$$

由因子分解定理，$\\bar{X}$ 是 $\\mu$ 的充分统计量。

定理 1.3：若 $T$ 是 $\\theta$ 的充分统计量，$S = \\phi(T)$ 是一一对应的函数，则 $S$ 也是 $\\theta$ 的充分统计量。

定理 1.4（Rao-Blackwell定理）：设 $\\hat{\\theta}$ 是 $\\theta$ 的任一无偏估计，$T$ 是 $\\theta$ 的充分统计量，令 $\\tilde{\\theta} = E(\\hat{\\theta}|T)$，则：

• $\\tilde{\\theta}$ 也是 $\\theta$ 的无偏估计
• $D(\\tilde{\\theta}) \\leq D(\\hat{\\theta})$

Rao-Blackwell定理告诉我们，基于充分统计量对无偏估计进行条件期望，可以得到方差更小的无偏估计。

定义 1.5（完备统计量）：设 $T = T(X_1, X_2, \\ldots, X_n)$ 是一个统计量，其概率分布族为 $\\{f_T(t; \\theta), \\theta \\in \\Theta\\}$。若对任意函数 $g$，由 $E_\\theta[g(T)] = 0$（对所有 $\\theta \\in \\Theta$）可推出 $P_\\theta(g(T) = 0) = 1$（对所有 $\\theta \\in \\Theta$），则称 $T$ 是完备统计量（Complete Statistic），也称分布族 $\\{f_T(t; \\theta)\\}$ 是完备的。

直观理解：完备统计量意味着不存在关于该统计量的非零无偏估计零的函数。换句话说，完备统计量不会“丢失”关于参数的信息。

定义 1.6（指数族分布）：若随机变量 $X$ 的概率密度函数（或概率质量函数）可以表示为：

$$f(x; \\theta) = C(\\theta)\\exp\\left\\{\\sum_{j=1}^{k}Q_j(\\theta)T_j(x)\\right\\}h(x)$$

则称该分布族为指数族分布（Exponential Family）。其中 $C(\\theta) > 0$，$h(x) \\geq 0$，$Q_j(\\theta)$ 和 $T_j(x)$ 都是实值函数。

定理 1.5：设 $X_1, X_2, \\ldots, X_n$ 是来自指数族分布的样本，其自然形式为：

$$f(x; \\eta) = C^*(\\eta)\\exp\\left\\{\\sum_{j=1}^{k}\\eta_jT_j(x)\\right\\}h(x)$$

若自然参数空间 $\\{\\eta = (\\eta_1, \\ldots, \\eta_k)\\}$ 作为 $R^k$ 的子集有内点，则统计量 $T = (\\sum_{i=1}^{n}T_1(X_i), \\ldots, \\sum_{i=1}^{n}T_k(X_i))$ 是完备充分统计量。

例 1.3：设 $X_1, X_2, \\ldots, X_n$ 是来自泊松分布 $P(\\lambda)$ 的样本，则 $T = \\sum_{i=1}^{n}X_i$ 是 $\\lambda$ 的完备充分统计量。

证明：泊松分布的概率质量函数为：

$$f(x; \\lambda) = \\frac{\\lambda^x e^{-\\lambda}}{x!} = e^{-\\lambda}\\exp\\{x\\ln\\lambda\\}\\frac{1}{x!}$$

这是指数族分布，其中 $Q(\\lambda) = \\ln\\lambda$，$T(x) = x$，$C(\\lambda) = e^{-\\lambda}$，$h(x) = \\frac{1}{x!}$。

由定理1.5，$T = \\sum_{i=1}^{n}X_i$ 是完备充分统计量。

例 1.4：设 $X_1, X_2, \\ldots, X_n$ 是来自正态总体 $N(\\mu, \\sigma^2)$ 的样本，则 $(\\sum_{i=1}^{n}X_i, \\sum_{i=1}^{n}X_i^2)$ 是 $(\\mu, \\sigma^2)$ 的完备充分统计量。

定理 1.6（Lehmann-Scheffé定理）：设 $T$ 是参数 $\\theta$ 的完备充分统计量，$\\hat{\\theta} = \\phi(T)$ 是 $\\theta$ 的无偏估计，则 $\\hat{\\theta}$ 是 $\\theta$ 的一致最小方差无偏估计（Uniformly Minimum Variance Unbiased Estimator, UMVUE）。

这个定理给出了寻找UMVUE的方法：

• 首先找到一个完备充分统计量 $T$
• 然后构造一个基于 $T$ 的无偏估计

1. 设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X$ 的样本，证明：

 $$\\sum_{i=1}^{n}(X_i - \\bar{X})^2 = \\sum_{i=1}^{n}X_i^2 - n\\bar{X}^2$$

2. 设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X \\sim N(\\mu, \\sigma^2)$ 的样本，求 $E(\\bar{X}^2)$ 和 $D(S^2)$。

3. 设 $X_1, X_2, \\ldots, X_n$ 是来自均匀分布 $U(0, \\theta)$ 的样本，证明 $T = \\max\\{X_1, X_2, \\ldots, X_n\\}$ 是 $\\theta$ 的充分统计量。

4. 设 $X_1, X_2, \\ldots, X_n$ 是来自几何分布 $P(X=k) = p(1-p)^{k-1}$（$k = 1, 2, \\ldots$）的样本，求 $p$ 的充分统计量。

5. 设 $X_1, X_2, \\ldots, X_n$ 是来自伽马分布 $Ga(\\alpha, \\lambda)$ 的样本，其中 $\\alpha$ 已知，求 $\\lambda$ 的充分统计量。

6. 证明：若 $T$ 是 $\\theta$ 的充分统计量，则对任何可测函数 $g$，$E[g(X_1, X_2, \\ldots, X_n)|T]$ 与 $\\theta$ 无关。

7. 设 $X_1, X_2, \\ldots, X_n$ 是来自正态总体 $N(0, \\sigma^2)$ 的样本，证明 $T = \\sum_{i=1}^{n}X_i^2$ 是 $\\sigma^2$ 的完备充分统计量。

8. 利用Lehmann-Scheffé定理，求泊松分布 $P(\\lambda)$ 中 $\\lambda$ 的UMVUE。

9. 设 $X_1, X_2, \\ldots, X_n$ 是来自总体 $X$ 的样本，总体分布为：

 $$f(x; \\theta) = \\theta x^{\\theta-1}, \\quad 0 < x < 1, \\theta > 0$$
 (a) 求 $\\theta$ 的充分统计量；
 (b) 判断该充分统计量是否完备。

10. 设 $X_1, X_2, \\ldots, X_n$ 是来自两参数指数分布的样本，其密度函数为：

  $$f(x; \\mu, \\sigma) = \\frac{1}{\\sigma}\\exp\\left\\{-\\frac{x-\\mu}{\\sigma}\\right\\}, \\quad x \\geq \\mu$$
  求 $(\\mu, \\sigma)$ 的充分统计量，并判断是否完备。

本章介绍了数理统计的基础概念：

• 总体与样本：总体是研究对象的全体，样本是从总体中随机抽取的部分个体
• 统计量：样本的不含未知参数的函数，是统计推断的基础
• 充分统计量：包含了样本中关于参数的全部信息，可用因子分解定理判断
• 完备统计量：不会“丢失”关于参数的信息，与充分统计量结合可得到UMVUE
• 指数族分布：包含许多常见分布，其充分统计量具有良好性质

这些概念是后续参数估计和假设检验的理论基础，深入理解这些概念对于掌握数理统计方法至关重要。