参数估计

注：在统计学的应用中，参数估计和假设检验是最重要的两个方面。参数估计是利用样本的信息，对总体的未知参数做估计。是典型的“以偏概全”

区间估计是除点估计之外的另一类参数估计。相对于点估计只给出一个具体的数值，区间估计能够给出一个估计的范围。

一、参数及参数的估计

参数是总体分布中的参数，反映的是总体某方面特征的量。例如：合格率，均值，方差，中位数等。参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。

估计值与估计量

问题的一般提法

设有一个统计总体，总体的分布函数为 $F(x,θ)$，其中θ为未知参数。现从该总体取样本 $X_{1}, X_{2}, \ldots, X_{n}$，要依据样本对参数θ作出估计，或估计θ的某个已知函数 $g(θ)$。这类问题称为参数估计。

参数估计分类

• 点估计，其中点估计又可以分为矩估计和最大似然估计；
• 区间估计

例如，估计降雨量：预计今年的降雨量为550mm，这是点估计；预计今年的降雨量为500 - 600mm，这是区间估计。

二、点估计

点估计（Point estimation）

点估计也称定值估计，它是以抽样得到的样本指标作为总体指标的估计量，并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法。

点估计的方法有矩估计法、顺序统计量法、最大似然法、最小二乘法等。

矩估计

在统计学中，矩是指以期望为基础而定义的数字特征，一般分为原点矩和中心矩。

设 $X$ 为随机变量，对任意正整数k，称 $E\left(X^{k }\right)$ 为随机变量 $X$ 的 k 阶原点矩，记为：
$$
m_k = E\left(X^{k }\right)
$$
当k＝1时，
$$
m_1 = E(X) = \mu
$$
可见一阶原点矩为随机变量X的数学期望。

把 $C_{k }=E[X-E(X)]^{k}$ 称为以$E(X)$为中心的k阶中心矩。

显然，当k＝2时
$$
C_{2 }=E[X-E(X)]^{2}
$$
可见二阶中心矩为随机变量X的方差。

矩估计法简便、直观，比较常用，但是矩估计法也有其局限性。首先，它要求总体的k阶原点矩存在，若不存在则无法估计；其次，矩估计法不能充分地利用估计时已掌握的有关总体分布形式的信息。

通常设 $θ$ 为总体X的待估计参数，一般用样本 $X_{1}, X_{2}, \cdots, X_{n}$ 构成一个统计量 $\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \Lambda, X_{n}\right)$ 来估计 $θ$ ，则称 $\hat{\theta}$ 为θ的估计量。对于样本的一组数值 $x_{1}, x_{2}, \cdots, x_{n}$ 称θ的估计值。于是点估计即是寻求一个作为待估计参数θ的估计量 $\hat{\theta}(x_{1}, x_{2}, \cdots, x_{n})$ 的问题。但是必须注意，对于样本的不同数值，估计值是不相同的。

极大似然估计

最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称极大似然估计

最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

如果总体X为离散型

假设分布率为 $P=p(x ; \theta)$，x 是发生的样本，$θ$ 是代估计的参数，$p(x ; \theta)$表示估计参数为θ时，发生x的的概率。

那么当我们的样本值为：$x_{1}, x_{2}, \ldots, x_{n}$ 时，
$$
\begin{equation}L(\theta)=L\left(x_{1}, x_{2}, \ldots, x_{n} ; \theta\right)=\prod_{i=1}^{n} p\left(x_{i} ; \theta\right)\end{equation}
$$
其中$L(θ)$ 成为样本的似然函数。

假设

有 $\hat{\theta}$ 使得$ L(θ)$ 的取值最大，那么 $\hat{\theta}$ 就叫做参数 $\theta$ 的极大似然估计值。

如果总体X为连续型

基本和上面类似，只是概率密度为 $f(x ; \theta)$ ，替代p。
$$
\begin{equation}L(\theta)=\prod_{i=1}^{n} f\left(x_{i} ; \theta\right)\end{equation}
$$
解法

1. 构造似然函数 $L(θ)$
2. 取对数：$lnL(θ)$
3. 求导，计算极值
4. 解方程，得到 $θ$

点估计的评价

由于存在不同的方法对总体中的未知参数进行估计，利用这些不同的方法得到的估计值也不同。因此就涉及到如何评价不同估计量的好坏的问题。

常用的评价准则有以下四条：

• 无偏性准则
• 有效性准则
• 均方误差准则
• 相合性准则

无偏性准则

无偏性是通过比较参数和参数估计量的期望来判断的。

定义：若参数θ的估计值 $\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 满足
$$
E(\hat{\theta})=\theta
$$
则称$\hat{\theta}$是θ的一个无偏估计量。

若$E(\hat{\theta}) \neq \theta$ ，那么$|E(\hat{\theta})-\theta|$ 称为估计量$\hat{\theta}$ 的偏差，若$\lim _{n \rightarrow \infty} E(\hat{\theta})=\theta$ ，则称是$\hat{\theta}$的$\theta$渐进无偏估计量。

无偏性的统计意义：

无偏性的统计意义是指在大量重复试验下，由$\hat{\theta}\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 给出的估计的平均值恰好是θ，从而无偏性保证了没$\hat{\theta}$有系统误差。

有效性

如果两种方法得到的结果都是无偏估计，那么这两种方法怎么区分好坏呢？这时候就可以用到有效性了。有效性是根据方差来判断估计值的好坏，方差较小的无偏估计量是一种更有效的估计量。

均方误差

在实际应用中，均方误差准则比无偏性准则更重要！

定义：设$X_{1}, X_{2}, \ldots, X_{n}$ 是从带参数θ的总体中抽出的样本，要估计θ，若采用$\hat{\theta}$作为参数θ的点估计，则其误差为.$\hat{\theta}-\theta$ 这个误差随样本$X_{1}, X_{2}, \ldots, X_{n}$的具体取值而定，也是随机的，因而其本身无法取为优良性指标. 我们取它的平方以消除符号，然后取均值，可得估计量$\hat{\theta}$的均方误差（误差平方的平均），
$$
E\left[(\hat{\theta}-\theta)^{2}\right]
$$
记为 $\operatorname{MSE}(\hat{\theta})$, 若$\hat{\theta}$是θ的无偏估计，则有$\operatorname{MSE}(\hat{\theta})=D(\hat{\theta})$

均方误差作为$\hat{\theta}$误差大小从整体角度的一个衡量，这个量越小，就表示$\hat{\theta}$的误差平均来说比较小，因而也就越优. 由定义可以看出来，均方误差小并不能保证$\hat{\theta}$在每次使用时一定给出小的误差，它有时也可以有较大的误差，但这种情况出现的机会比较少.

相合性

三、区间估计

用点估计 $\hat{\theta}\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 来估计总体的未知参数 $\theta$ ，一旦我们获得了样本观察值 $\left(x_{1}, x_{2}, \ldots, x_{n}\right)$

将它代入 $\hat{\theta}\left(X_{1}, X_{2}, \ldots, X_{n}\right)$ 即可得到 $θ$ 的一个估计值。这很直观，也很便于使用。但是，点估计值只提供了$ θ$ 的一个近似值，并没有反映这种近似的精确度。同时，由于 $θ$ 本身是未知的，我们也无从知道这种估计的误差大小。因此，我们希望估计出一个真实参数所在的范围，并希望知道这个范围以多大的概率包含参数真值，这就是参数的区间估计问题。

定义

设总体 $X \sim F(x ; \theta)$ ，$\theta$ 是待估计参数，若对给定的 $\alpha (0<\alpha <1)$ , 存在两个统计量 ：$\underline{\theta}=\underline{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right), \quad \bar{\theta}=\bar{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$ 使得 $P(\underline{\theta}<\theta<\overline{\boldsymbol{\theta}})=1-\alpha, \quad \boldsymbol{\theta} \in \Theta$ 则称随机区间 $(\underline{\theta}, \bar{\theta})$为 $\theta$ 的置信度为 $1-\alpha$ 的置信区间， $\underline{\theta}, \bar{\theta}$ 分别成为置信下限和置信上限， $1-\alpha$ 成为置信度或置信水平。

区间估计的几点说明：

• 置信区间的长度 $\bar{\theta}-\underline{\theta}$ 反映了估计的精度， $\bar{\theta}-\underline{\theta}$ 越小，估计精度越高。
• $\alpha$ 反映了估计的可信度。$\alpha$ 越小，$1-\alpha$ 越大，估计的可信度越高；但通常会导致 $\bar{\theta}-\underline{\theta}$ 增大。从而导致估计的精度降低。
• $\alpha$ 给定后，置信区间的选取不唯一，通常选取 $\bar{\theta}-\underline{\theta}$ 最小的区间。

置信区间的含义

以$\alpha=0.01$为例，此时置信度为99。假设反复抽取样本1000次，则得到1000个随机区间$(\underline{\theta}, \bar{\theta})$ ,在这1000个区间中，包含值的大约有990个，而不包含 $\theta$ 值的大约有10个。

统计量

统计量的概念存在于样本中，是对样本某个指标的概括，例如上面例子中选出来的100位学生的平均身高就是一个统计量。统计量区别于”个体量”，具有以下两个特点：

• 不包含任何未知数；
• 包含所有样本的信息。

因此只要样本确定，统计量的值就可以直接计算出来。例如一旦选定100位学生，他们的平均身高就可以计算出来。

定义

样本的不包含任何未知参数的函数。通常可以通过构造统计量的方式，从样本中提取有用的信息来研究总体的分布以及各种特征数。

常用统计量：

从上面可以看到：样本的均值等于样本的1阶原点矩；但是样本的方差不等于样本的2阶中心距（在总体中这两者是相等的）；

用统计量估计总体的数字特征

当总体数字特征未知时，

以上估计的理论基础就是大数定律。值得注意的是，总体的均值μ是一个数，可能已知，也可能未知；而样本均值 $\bar{X}$是一个随机变量，依赖于样本值。

统计量的一些特点：

• 统计量可以用于对总体中的未知参数进行点估计；

• 有些统计量的分布是明确的，例如“三大统计分布”所代表的统计量；

  “三大抽样分布”都是统计量的分布，这些统计量的分布形式是明确的（有具体的数学公式，不包含未知参数），这也是为什么这三类分布在统计学中如此重要的原因之一。因为事实上大部分的统计量要么很难确定其分布，要么含有未知参数。

枢轴量

定义：设总体 $X$ 有概率密度（或分布律）$f(x;θ)$ ，其中 $θ$ 是待估的未知参数。设 $X_1,…,X_n$ 是一个样本，记：
$$
\begin{equation}G=G\left(X_{1}, \ldots, X_{n} ; \theta\right)\end{equation}
$$
为样本和待估参数 $θ$ 的函数，如果 $G$ 的分布已知，不依赖于任何参数，就称 $G$ 为枢轴量。

由上述定义可以看出枢轴量的几个特点：

• 与某个待估参数有关（事实上枢轴量法主要被用于未知参数的区间估计）；
• 本身含有未知参数（待估参数），因此不具有“可观察性”，也就是说即使选定了样本也无法计算出确定的值；
• 其分布是明确的（有具体的数学公式，不包含未知参数）。

一个比较常见的例子：均值或方差未知的正态分布转换成标准正态分布时，随机变量中还是包含未知参数，但是其分布中却不包含任何未知参数。因此标准化之后的随机变量是一个枢轴量。

一般正态分布与标准正态分布之间的关系： 当 $X \sim N(\mu, \sigma) \text { 时, } \frac{X-\mu}{\sigma} \sim N(0,1)$

枢轴量法需要解决的问题

枢轴量法作为区间估计的主要方法，要求解的问题如下：

设总体X的分布含有未知参数 $\theta, X_{1}, \ldots, X_{n}$ 是一次抽样得到的样本。

如何给出θ的置信水平为1−α的双侧置信区间(或单侧置信上限、单侧置信下限)？

求解步骤：

(1) 找一个随机变量 $G$，该随机变量需要满足以下两个条件：

• 分布已知；
• 是总体未知参数θ和样本$X_{1}, \ldots, X_{n}$ 的函数

(2) 找$a<b$，使 $P(a<G<b)≥1−α$

(3)从 $a \lt G \lt b$ 解出 $\hat{\theta}_L \lt \theta \lt \hat{\theta}_U$

$(\hat{\theta}_L , \hat{\theta}_U)$就是置信度为1−α的双侧置信区间。

边界a,b的选择

对于枢轴量G，满足P(a<G<b)≥1−α的a,b可能有很多，这时可以参考下面的原则来进行选择：

(1) 根据Neyman原则：求a和b使得区间长度最短；

(2) 如果最优解不存在或比较复杂，对连续总体，常取a和b满足 $P\left(G\left(X_{1}, \ldots, X_{n} ; \theta\right) \leq a\right)=P\left(G\left(X_{1}, \ldots, X_{n} ; \theta\right) \geq b\right)=\alpha / 2$

枢轴量的构造

枢轴量$G(X1,…,Xn;θ)$的构造，通常从θ的点估计 $\hat{\theta}$(如极大似然估计，矩估计等)出发，根据θ的分布(或包含θ的函数的分布)进行改造而得。

常见枢轴量

从区间估计的求解流程和上面的例子可以看出来，如果要使用枢轴量法来作区间估计，找到合适的枢轴量是关键。在上面的例子中，由于总体的分布已知，因此对总体的均值 μ 进行估计的时候，先用样本均值 $\bar{X}$来进行点估计，然后再使用样本均值构造服从 t 分布的枢轴量来确定区间的边界a,b.

• 下面所有的枢轴量都是跟总体均值和方差有关的，因此我们能估计的也仅限于这两个参数；
• 总体方差已知和未知是两种不同的情况，构造出来的枢轴量属于不同的分布；
• 具有两个正态总体时，可以估计两个不同总体均值的差或方差的比值.

单个正态总体 $N(μ,σ^2)$情形

(1) μ的枢轴量：

(2) $σ^2$的枢轴量：

二个正态总体 $N\left(\mu_{1}, \sigma_{1}^{2}\right), N\left(\mu_{2}, \sigma_{2}^{2}\right)$)的情形

(1) $μ_1−μ_2$的枢轴量：

• $σ_1^2,σ_2^2$ 已知时

  

• $σ_1^2=σ_2^2$ 已知时

  

  其中 $S_{w}^{2}=\frac{\left(n_{1}-1\right) S_{1}^{2}+\left(n_{2}-1\right) S_{2}^{2}}{n_{1}+n_{2}-2}, S_{w}=\sqrt{S_{w}^{2}}$

(2) $\frac{\sigma_{1}^{2}}{\sigma_{2}^{2}}$ 的枢轴量

$σ_1,σ_2$ 未知时

其他总体均值的区间估计

设总体X的均值为μ，方差为 $σ^2$，非正态分布或不知分布形式. 样本为 $X_{1}, \ldots, X_{n}$

当n充分大(一般n>30)时，有中心极限定理知， $\bar{X} \sim N\left(\mu, \sigma^{2} / n\right)$ , 因此：
$$
\frac{\bar{X}-\mu}{\sigma / \sqrt{n}} \sim N(0,1)
$$
以上分布为近似分布

• 当 $σ^2$ 已知时，μ的置信水平为 $1−α$ 的近似置信区间为
  $$
  \begin{equation}\left(\bar{X}-z_{\alpha / 2} \sigma / \sqrt{n}, \bar{X}+z_{\alpha / 2} \sigma / \sqrt{n}\right)\end{equation}
  $$

• 当 $σ^2$ 未知时，以样本方差 $S^2$代入，得近似置信区间为
  $$
  \left(\bar{X}-z_{\alpha / 2} S / \sqrt{n}, \bar{X}+z_{\alpha / 2} S / \sqrt{n}\right)
  $$

统计量 vs 枢轴量

再次比较一下这两个量的异同：

• 枢轴量和统计量都是样本的函数，但是枢轴量中还包含未知参数（待估计参数）；
• 枢轴量和统计量的分布都是某种抽样分布，与样本本身所属的总体分布不同；
• 枢轴量的分布不依赖于任何未知参数，统计量的分布常依赖于未知参数；
• 如果将枢轴量中的未知参数用某个已知的估计量替代，那么枢轴量就变成统计量了；
• 统计量常用于点估计和假设检验；
• 枢轴量常用于区间估计。

四、一个总体参数的区间估计

1、总体均值的区间估计

正态总体、方差已知，或非正态总体、大样本

例题：

正态总体、方差未知、小样本

例题：

总结

2、总体比例的区间估计

例题：

3、总体方差分布的区间估计

例题:

总结

一个总体参数的估计及所使用的分布

五、两个总体参数的区间估计

对于两个总体，所关心的参数主要有两个总体的均值之差 $\mu_1-\mu_2$ , 两个总体的比例之差 $\pi_1 -\pi_2$ 、两个总体的方差之比 $\sigma_1^2 / \sigma_2^2$ 等。

1、两个总体均值之差区间估计

设两个总体的均值分别为 $\mu_1$ 和 $\mu_2$ .从两个总体中分别抽取样本量为$n_1$ 和 $n_1$ 的两个随机样本，其样本均值分别为 $\bar{x_1}$ 和 $\bar{x_2}$ 。两个总体均值之差 $μ_1 - μ_2$ 的估计量显然是两个样本的均值之差 $\bar{x_1}-\bar{x_2}$ 。

两个总体均值之差的估计：独立样本

(1) 大样本的估计

(2) 小样本的估计

在两个样本都为小样本的情况下，为估计两个总体的均值之差，需要作出以下

假定:

• 两个总体都服从正态分布。
• 两个随机样本独立地分别抽自两个总体。

在上述假定下，无论样本量的大小，两个样本均值之差都服从正态分布。当两个总体方差 $\sigma_1^2$ 和 $\sigma_1^2$ 已知时，可用式(7.13) 建立两个总体均值之差的置信区间。当 $\sigma_1^2$ 和 $\sigma_1^2$ 未知时，有以下几种情况。

1. 当两个总体的方差 $\sigma_1^2$ 和 $\sigma_1^2$ 未知但相等时

   

   例题：

   

2. 当两个总体的方差 $\sigma_1^2$ 和 $\sigma_1^2$ 未知并且不相等时

   

   例题：

   

两个总体均值之差的估计：匹配样本

在例7.7中使用的是两个独立的样本，但使用独立样本来估计两个总体均值之差存在着潜在的弊端。比如，在对每种方法随机指派12个工人时，偶尔可能会将技术比较差的12个工人指定给方法1，而将技术较好的12个工人指定给方法2.这种不公平的指派可能会掩盖两种方法组装产品所需时间的真正差异。为解决这一问题，可以使用匹配样本(matchedsample).即一个样本中的数据与另一个样本中的数据相对应。比如，先指定12个工人用第-一种方法组装产品，然后再让这12个工人用第二种方法组装产品，这样得到的两种方法组装产品的数据就是匹配数据。匹配样本可以消除由于样本指定的不公平造成的两种方法组装时间上的

例题：

2、两个总体比例之差的区间估计

例题：

3、两个总体方差比的区间估计

例题：

总结